DiffSynth-Studio
El motor de difusión open source de la comunidad ModelScope para ejecutar y entrenar modelos de imagen, vídeo y audio en GPUs modestas.
DiffSynth-Studio es un motor de difusión de código abierto desarrollado y mantenido por el equipo comunitario de ModelScope. Integra los principales modelos de difusión abiertos de imagen, vídeo y audio, junto con modelos de métricas de calidad de imagen. Su README destaca cuatro características: gestión de VRAM que mueve parámetros entre disco, memoria y VRAM para que GPUs de consumo con poca memoria ejecuten modelos grandes; cuantización a precisiones como NF4 e INT8; soporte de entrenamiento para casi todo modelo capaz de inferencia, incluidos LoRAs y adaptadores; y un modo de entrenamiento dividido que reparte el entrenamiento en dos etapas.
El proyecto añade modelos nuevos con rapidez. Sus noticias muestran soporte de FLUX.3 Image Klein el 16 de octubre de 2026, MOSS-Image el 20 de octubre, FIBO 2.0 el 21 de octubre y MiniMax-H3-Image el 10 de noviembre, cada uno con inferencia y entrenamiento y, para la mayoría, inferencia con poca VRAM. También publicó EntroPack, una biblioteca de compresión de tensores de PyTorch que actúa como backend de cuantización, y el README dice que su build de MOSS-Image a 3,5 bits puede funcionar con solo 4 GB de VRAM.
Se distribuye bajo la licencia Apache 2.0 y se instala desde el código fuente o desde PyPI con pip. Según su guía de instalación, soporta GPUs NVIDIA, GPUs AMD vía ROCm y NPUs Ascend. Los modelos se descargan de ModelScope por defecto, y una variable de entorno cambia al sitio internacional de ModelScope o a Hugging Face. Es código, no una aplicación, aunque el mismo equipo también publica un paquete de nodos ComfyUI y una herramienta ligera de entrenamiento de LoRA construida sobre él.
Ideal para
- Ejecutar grandes modelos de difusión de imagen y vídeo en GPUs con VRAM limitada
- Entrenar LoRAs o modelos completos para una amplia gama de modelos abiertos recientes de imagen y vídeo
- Investigadores y desarrolladores que quieren un motor a nivel de código, no una app de clics
A tener en cuenta
- El README dice que el equipo es pequeño, así que las funciones nuevas y las respuestas a los issues pueden tardar
- Las descargas de modelos van por defecto a ModelScope, y los IDs de modelos pueden diferir entre ModelScope y Hugging Face
- Las actualizaciones de versión mayor retiraron funciones antiguas, así que los tutoriales viejos pueden no coincidir con el código actual