DiffSynth-Studio
O motor de difusão de código aberto da comunidade ModelScope para rodar e treinar modelos de imagem, vídeo e áudio em GPUs modestas.
O DiffSynth-Studio é um motor de difusão de código aberto construído e mantido pela equipe da comunidade ModelScope. Ele integra os principais modelos de difusão abertos para geração de imagem, vídeo e áudio, além de modelos de métricas de qualidade de imagem. Seu README destaca quatro recursos: gerenciamento de VRAM que move parâmetros entre disco, memória e VRAM para que GPUs de consumo com pouca memória rodem modelos grandes; quantização em precisões como NF4 e INT8; suporte a treinamento para quase todo modelo capaz de inferência, incluindo LoRAs e adaptadores; e um modo de treinamento dividido que reparte o treinamento em duas etapas.
O projeto adiciona modelos novos rapidamente. Suas notícias mostram suporte a FLUX.3 Image Klein em 16 de outubro de 2026, MOSS-Image em 20 de outubro, FIBO 2.0 em 21 de outubro e MiniMax-H3-Image em 10 de novembro, cada um com inferência e treinamento e, para a maioria, inferência com pouca VRAM. Também lançou o EntroPack, uma biblioteca de compressão de tensores PyTorch que serve de backend de quantização, e o README diz que seu build de MOSS-Image em 3,5 bits roda com apenas 4 GB de VRAM.
É distribuído sob a licença Apache 2.0 e instala a partir do código-fonte ou do PyPI com pip. Segundo o guia de instalação, suporta GPUs NVIDIA, GPUs AMD via ROCm e NPUs Ascend. Os modelos são baixados do ModelScope por padrão, e uma variável de ambiente muda para o site internacional do ModelScope ou para o Hugging Face. É código, não um aplicativo, embora a mesma equipe também publique um pacote de nós ComfyUI e uma ferramenta leve de treinamento de LoRA construída sobre ele.
Bom para
- Rodar grandes modelos de difusão de imagem e vídeo em GPUs com VRAM limitada
- Treinar LoRAs ou modelos completos para uma ampla gama de modelos abertos recentes de imagem e vídeo
- Pesquisadores e desenvolvedores que querem um motor em nível de código, não um app de clicar
Pontos de atenção
- O README diz que a equipe é pequena, então novos recursos e respostas a issues podem demorar
- O download de modelos vai por padrão para o ModelScope, e os IDs de modelos podem diferir entre ModelScope e Hugging Face
- Atualizações de versão principal aposentaram recursos antigos, então tutoriais antigos podem não bater com o código atual