DiffSynth-Studio

Le moteur de diffusion open source du projet ModelScope pour exécuter et entraîner des modèles d'image, vidéo et audio sur des GPU modestes.

  • Bibliothèques
  • Apache 2.0 · Open source
  • Vérifié le

DiffSynth-Studio est un moteur de diffusion open source développé et maintenu par l'équipe communautaire de ModelScope. Il intègre les principaux modèles de diffusion ouverts pour la génération d'images, de vidéos et d'audio, ainsi que des modèles de métriques de qualité d'image. Son README met en avant quatre atouts : une gestion de la VRAM qui déplace les paramètres entre disque, mémoire et VRAM pour que les GPU grand public peu dotés puissent faire tourner de grands modèles ; la quantification vers des précisions comme NF4 et INT8 ; la prise en charge de l'entraînement pour presque tout modèle capable d'inférence, y compris LoRAs et adaptateurs ; et un mode d'entraînement divisé en deux étapes.

Le projet ajoute vite de nouveaux modèles. Ses actus montrent la prise en charge de FLUX.3 Image Klein le 16 octobre 2026, de MOSS-Image le 20 octobre, de FIBO 2.0 le 21 octobre et de MiniMax-H3-Image le 10 novembre, chacun avec inférence et entraînement et, pour la plupart, une inférence à faible VRAM. Il a aussi publié EntroPack, une bibliothèque de compression de tenseurs PyTorch qui sert de backend de quantification, et le README indique que son build de MOSS-Image en 3,5 bits peut tourner avec seulement 4 Go de VRAM.

Il est publié sous licence Apache 2.0 et s'installe depuis les sources ou depuis PyPI avec pip. Selon son guide d'installation, il prend en charge les GPU NVIDIA, les GPU AMD via ROCm et les NPU Ascend. Les modèles se téléchargent par défaut depuis ModelScope, et une variable d'environnement bascule vers le site international de ModelScope ou vers Hugging Face. C'est du code, pas une application, même si la même équipe publie aussi un paquet de nœuds ComfyUI et un outil léger d'entraînement de LoRA construit dessus.

Idéal pour

  • Faire tourner de grands modèles de diffusion d'image et de vidéo sur des GPU à VRAM limitée
  • Entraîner des LoRA ou des modèles complets pour une large gamme de modèles ouverts récents d'image et de vidéo
  • Chercheurs et développeurs qui veulent un moteur au niveau du code, pas une application en quelques clics

Points d’attention

  • Le README dit que l'équipe est petite, donc les nouveautés et les réponses aux issues peuvent être lentes
  • Les modèles se téléchargent par défaut depuis ModelScope, et les IDs de modèles peuvent différer entre ModelScope et Hugging Face
  • Les mises à jour de version majeure ont retiré d'anciennes fonctionnalités, donc les vieux tutoriels peuvent ne plus correspondre au code actuel

Liens