DiffSynth-Studio

ModelScope コミュニティによるオープンソースの拡散モデルエンジン。控えめな GPU で画像・動画・音声モデルの実行と学習ができます。

  • ライブラリ
  • Apache 2.0 · オープンソース
  • 検証日

DiffSynth-Studio は、ModelScope コミュニティチームが開発・保守するオープンソースの拡散モデルエンジンです。画像・動画・音声生成の主流オープン拡散モデルと、画質評価モデルを統合しています。README が強調する特徴は 4 つです。VRAM 管理 — ディスク・メモリー・VRAM の間でパラメーターをやりくりし、少ない VRAM のコンシューマー GPU でも大きなモデルを動かせる。NF4 や INT8 などの精度への量子化。推論できるほぼすべてのモデル(LoRA やアダプターを含む)の学習対応。そして学習を 2 段階に分ける分割学習モードです。

新しいモデルの追加は速いです。ニュースによれば、2026 年 10 月 16 日に FLUX.3 Image Klein、10 月 20 日に MOSS-Image、10 月 21 日に FIBO 2.0、11 月 10 日に MiniMax-H3-Image に対応し、いずれも推論と学習を備え、多くは低 VRAM 推論にも対応しています。また、量子化バックエンドとして機能する PyTorch テンソル圧縮ライブラリ EntroPack をリリースしており、README はその 3.5 ビットの MOSS-Image ビルドが 4 GB の VRAM でも動くと言っています。

ライセンスは Apache 2.0 で、ソースからでも pip で PyPI からでもインストールできます。インストールガイドによれば、NVIDIA GPU、ROCm 経由の AMD GPU、Ascend NPU に対応しています。モデルは既定で ModelScope からダウンロードされ、環境変数で ModelScope の国際サイトや Hugging Face に切り替えられます。これはアプリではなくコードですが、同じチームがこれを基にした ComfyUI ノードパッケージや軽量 LoRA 学習ツールも公開しています。

おすすめの用途

  • VRAM が限られた GPU で大型の画像・動画拡散モデルを実行する
  • 幅広い新しいオープン画像・動画モデル向けに LoRA やフルモデルを学習する
  • ポチポチ式アプリではなくコードレベルのエンジンを望む研究者・開発者向け

注意点

  • README によればチームは小規模で、新機能や issue への回答は遅いことがある
  • モデルのダウンロードは既定で ModelScope であり、ModelScope と Hugging Face ではモデル ID が異なることがある
  • メジャーバージョンの更新で古い機能が廃止されたため、古いチュートリアルは現行コードと合わないことがある

リンク