DiffSynth-Studio

Открытый движок диффузии сообщества ModelScope: запуск и обучение моделей изображений, видео и аудио на скромных GPU.

  • Библиотеки
  • Apache 2.0 · Открытый код
  • Проверено

DiffSynth-Studio — открытый движок диффузионных моделей, разрабатываемый и поддерживаемый командой сообщества ModelScope. Он объединяет основные открытые диффузионные модели для генерации изображений, видео и аудио, а также модели метрик качества изображений. README выделяет четыре особенности: управление VRAM, которое перекладывает параметры между диском, памятью и VRAM, чтобы потребительские GPU с малым объёмом памяти могли запускать большие модели; квантизацию до точностей вроде NF4 и INT8; поддержку обучения почти для каждой модели, способной к инференсу, включая LoRA и адаптеры; и режим раздельного обучения, разбивающий обучение на два этапа.

Проект быстро добавляет новые модели. В его новостях: поддержка FLUX.3 Image Klein 16 октября 2026 года, MOSS-Image — 20 октября, FIBO 2.0 — 21 октября и MiniMax-H3-Image — 10 ноября, каждая с инференсом и обучением, а у большинства ещё и с инференсом при малой VRAM. Также вышел EntroPack — библиотека сжатия тензоров PyTorch, служащая бэкендом квантизации; в README сказано, что его сборка MOSS-Image в 3,5 бита может работать при 4 ГБ VRAM.

Лицензия — Apache 2.0, установка из исходников или с PyPI через pip. По руководству по установке поддерживаются GPU NVIDIA, GPU AMD через ROCm и NPU Ascend. Модели по умолчанию скачиваются с ModelScope, а переменная окружения переключает на международный сайт ModelScope или на Hugging Face. Это код, а не приложение, хотя та же команда выпускает ещё пакет узлов для ComfyUI и лёгкий инструмент обучения LoRA на его основе.

Подходит для

  • Запуск больших диффузионных моделей изображений и видео на GPU с ограниченной VRAM
  • Обучение LoRA или полных моделей для широкого круга недавних открытых моделей изображений и видео
  • Исследователям и разработчикам, которым нужен движок на уровне кода, а не приложение «нажми и готово»

На что обратить внимание

  • В README сказано, что команда небольшая, поэтому новые функции и ответы на issues могут запаздывать
  • Модели по умолчанию скачиваются с ModelScope, а ID моделей могут различаться между ModelScope и Hugging Face
  • Крупные обновления версий убрали часть старых возможностей, поэтому старые туториалы могут не совпадать с текущим кодом

Ссылки