Diffusers
Hugging Face の Python ライブラリ。画像・動画・音声向け拡散モデルの実行と学習に使えます。
Diffusers は Hugging Face の事前学習済み拡散モデル向けライブラリです。核となるのは 3 つの部分です。数行のコードで結果を生成できるすぐ使えるパイプライン、速度と品質のトレードオフを選べる交換可能なノイズスケジューラ、そして自分のシステムに組み合わせられる事前学習済みモデルコンポーネントです。README によれば、Hub には Diffusers で動く 3 万を超えるチェックポイントがあります。
pip install diffusers[torch] でインストールし、DiffusionPipeline.from_pretrained でモデルを読み込み、GPU に移動します。Apple Silicon は PyTorch の MPS バックエンドでサポートされており、ドキュメントにもガイドがあります。画像・動画モデルのモデルカードには Diffusers のコード断片が載っていることが多く、開発者自身の例を再現する定番の方法になっています。
ライセンスは Apache 2.0 です。開発者向けのコードであり、完成品のアプリではないため、ポチポチ操作したいなら ComfyUI を見てください。画像・動画モデルはそれ自体が大きいので、各モデルページでメモリー要件を確認してください。
おすすめの用途
- Python で画像や動画の生成機能を作る
- 拡散モデルのファインチューニングや LoRA 学習
- モデルカードの例を再現する
- 異なるスケジューラを試して速度と品質のバランスを取る
注意点
- ライブラリなので、コードを書くか別のツールをインターフェースとして使う必要がある
- モデルは大きく、必要なメモリーは各モデルページに記載されている
- モデルカードで必要な Diffusers バージョンを確認する。新しいモデルほど新しいライブラリバージョンが必要