DiffSynth-Studio
Открытый движок диффузии сообщества ModelScope: запуск и обучение моделей изображений, видео и аудио на скромных GPU.
DiffSynth-Studio — открытый движок диффузионных моделей, разрабатываемый и поддерживаемый командой сообщества ModelScope. Он объединяет основные открытые диффузионные модели для генерации изображений, видео и аудио, а также модели метрик качества изображений. README выделяет четыре особенности: управление VRAM, которое перекладывает параметры между диском, памятью и VRAM, чтобы потребительские GPU с малым объёмом памяти могли запускать большие модели; квантизацию до точностей вроде NF4 и INT8; поддержку обучения почти для каждой модели, способной к инференсу, включая LoRA и адаптеры; и режим раздельного обучения, разбивающий обучение на два этапа.
Проект быстро добавляет новые модели. В его новостях: поддержка FLUX.3 Image Klein 16 октября 2026 года, MOSS-Image — 20 октября, FIBO 2.0 — 21 октября и MiniMax-H3-Image — 10 ноября, каждая с инференсом и обучением, а у большинства ещё и с инференсом при малой VRAM. Также вышел EntroPack — библиотека сжатия тензоров PyTorch, служащая бэкендом квантизации; в README сказано, что его сборка MOSS-Image в 3,5 бита может работать при 4 ГБ VRAM.
Лицензия — Apache 2.0, установка из исходников или с PyPI через pip. По руководству по установке поддерживаются GPU NVIDIA, GPU AMD через ROCm и NPU Ascend. Модели по умолчанию скачиваются с ModelScope, а переменная окружения переключает на международный сайт ModelScope или на Hugging Face. Это код, а не приложение, хотя та же команда выпускает ещё пакет узлов для ComfyUI и лёгкий инструмент обучения LoRA на его основе.
Подходит для
- Запуск больших диффузионных моделей изображений и видео на GPU с ограниченной VRAM
- Обучение LoRA или полных моделей для широкого круга недавних открытых моделей изображений и видео
- Исследователям и разработчикам, которым нужен движок на уровне кода, а не приложение «нажми и готово»
На что обратить внимание
- В README сказано, что команда небольшая, поэтому новые функции и ответы на issues могут запаздывать
- Модели по умолчанию скачиваются с ModelScope, а ID моделей могут различаться между ModelScope и Hugging Face
- Крупные обновления версий убрали часть старых возможностей, поэтому старые туториалы могут не совпадать с текущим кодом