DiffSynth-Studio
ModelScope 社区的开源扩散模型引擎,可在配置不高的 GPU 上运行和训练图像、视频和音频模型。
DiffSynth-Studio 是由 ModelScope 社区团队开发和维护的开源扩散模型引擎。它集成了主流的开放扩散模型,覆盖图像、视频和音频生成,以及图像质量评估模型。README 强调了四个特性:显存管理,在磁盘、内存和显存之间调度参数,让显存较小的消费级 GPU 也能运行大模型;NF4、INT8 等精度的量化;几乎所有能做推理的模型都支持训练,包括 LoRA 和适配器;以及把训练分成两个阶段的拆分训练模式。
项目新增模型很快。它的新闻显示,2026 年 10 月 16 日支持了 FLUX.3 Image Klein,10 月 20 日支持了 MOSS-Image,10 月 21 日支持了 FIBO 2.0,11 月 10 日支持了 MiniMax-H3-Image,都带有推理和训练支持,其中多数还带有低显存推理。它还发布了 EntroPack,这是一个 PyTorch 张量压缩库,在这里充当量化后端,README 称其 3.5 位的 MOSS-Image 版本最低只要 4 GB 显存就能运行。
它采用 Apache 2.0 许可证,可以从源码或通过 pip 从 PyPI 安装。根据它的安装指南,它支持 NVIDIA GPU、通过 ROCm 的 AMD GPU 和昇腾 NPU。模型默认从 ModelScope 下载,通过环境变量可以切换到 ModelScope 国际站或 Hugging Face。它是代码而不是应用,不过同一个团队也发布了基于它的 ComfyUI 节点包和轻量的 LoRA 训练工具。
适合做什么
- 在显存有限的 GPU 上运行大型图像和视频扩散模型
- 为各种较新的开放图像和视频模型训练 LoRA 或完整模型
- 想要代码层面的引擎而不是点选式应用的研究者和开发者
需要注意
- README 称团队人手有限,所以新功能和问题回复可能比较慢
- 模型默认从 ModelScope 下载,ModelScope 和 Hugging Face 上的模型 ID 可能不同
- 大版本更新淘汰了一些旧功能,所以旧教程可能与当前代码不一致