Diffusers

La bibliothèque Python de Hugging Face pour exécuter et entraîner des modèles de diffusion d'images, de vidéos et d'audio.

  • Bibliothèques
  • Apache 2.0 · Open source
  • macOS, Windows, Linux
  • Vérifié le

Diffusers est la bibliothèque de Hugging Face pour les modèles de diffusion préentraînés. Elle offre trois parties centrales : des pipelines prêts à l'emploi qui produisent des résultats en quelques lignes de code, des noise schedulers interchangeables qui arbitrent entre vitesse et qualité, et des composants de modèles préentraînés que vous pouvez combiner dans vos propres systèmes. Le README indique que le Hub compte plus de 30 000 checkpoints compatibles avec Diffusers.

On l'installe avec pip install diffusers[torch], on charge un modèle avec DiffusionPipeline.from_pretrained et on le déplace sur un GPU. Apple Silicon est pris en charge via le backend MPS de PyTorch, et la documentation propose un guide à ce sujet. Les model cards des modèles d'image et de vidéo montrent souvent un extrait Diffusers : c'est donc un moyen courant de reproduire l'exemple du développeur.

La licence est Apache 2.0. C'est du code pour développeurs, pas une application toute prête ; pour un usage en quelques clics, regardez ComfyUI. Les modèles d'image et de vidéo sont volumineux : vérifiez les besoins en mémoire sur la page de chaque modèle.

Idéal pour

  • Créer des fonctions de génération d'images ou de vidéos en Python
  • Le fine-tuning ou l'entraînement de LoRA de modèles de diffusion
  • Reproduire l'exemple d'une model card
  • Essayer différents schedulers pour arbitrer entre vitesse et qualité

Points d’attention

  • C'est une bibliothèque : vous écrivez le code ou utilisez un autre outil comme interface
  • Les modèles sont volumineux et la mémoire nécessaire figure sur chaque page de modèle
  • Vérifiez sur la model card la version de Diffusers requise, car les nouveaux modèles exigent des versions récentes de la bibliothèque

Liens