DiffSynth-Studio
Die Open-Source-Engine der ModelScope-Community für Diffusionsmodelle: Bild, Video und Audio auf bescheidenen GPUs trainieren und ausführen.
DiffSynth-Studio ist eine Open-Source-Diffusions-Engine, entwickelt und gepflegt vom Community-Team von ModelScope. Sie integriert die gängigen offenen Diffusionsmodelle für Bild-, Video- und Audiogenerierung sowie Modelle zur Bewertung der Bildqualität. Das README hebt vier Eigenschaften hervor: ein VRAM-Management, das Parameter zwischen Festplatte, Arbeitsspeicher und VRAM verschiebt, damit Consumer-GPUs mit wenig VRAM große Modelle ausführen können; Quantisierung auf Präzisionen wie NF4 und INT8; Trainingsunterstützung für fast jedes Modell, das Inferenz kann, einschließlich LoRAs und Adaptern; und ein Split-Training, das das Training in zwei Phasen teilt.
Das Projekt ergänzt neue Modelle schnell. Seine News zeigen Unterstützung für FLUX.3 Image Klein am 16. Oktober 2026, MOSS-Image am 20. Oktober, FIBO 2.0 am 21. Oktober und MiniMax-H3-Image am 10. November, jeweils mit Inferenz und Training und für die meisten mit Inferenz bei wenig VRAM. Außerdem wurde EntroPack veröffentlicht, eine PyTorch-Tensor-Kompressionsbibliothek, die als Quantisierungs-Backend dient; laut dem README läuft sein 3,5-Bit-Build von MOSS-Image mit nur 4 GB VRAM.
Es steht unter der Apache-2.0-Lizenz und lässt sich aus dem Quellcode oder per pip von PyPI installieren. Laut Installationsanleitung werden NVIDIA-GPUs, AMD-GPUs über ROCm und Ascend-NPUs unterstützt. Modelle werden standardmäßig von ModelScope geladen, und eine Umgebungsvariable schaltet zur internationalen ModelScope-Seite oder zu Hugging Face um. Es ist Code, keine App, wobei dasselbe Team auch ein ComfyUI-Knotenpaket und ein leichtgewichtiges LoRA-Trainingswerkzeug darauf aufbauend veröffentlicht.
Geeignet für
- Große Bild- und Video-Diffusionsmodelle auf GPUs mit wenig VRAM ausführen
- LoRAs oder ganze Modelle für eine breite Palette neuer offener Bild- und Videomodelle trainieren
- Für Forschende und Entwickler, die eine Engine auf Codeebene statt einer Klick-App wollen
Darauf achten
- Laut README ist das Team klein; neue Funktionen und Antworten auf Issues können daher dauern
- Modelle werden standardmäßig von ModelScope geladen, und Modell-IDs können zwischen ModelScope und Hugging Face abweichen
- Major-Version-Updates haben ältere Funktionen entfernt; alte Tutorials passen womöglich nicht mehr zum aktuellen Code