Diffusers
Hugging Face 的 Python 库,用于运行和训练图像、视频和音频的扩散模型。
Diffusers 是 Hugging Face 的预训练扩散模型库。它有三个核心部分:几行代码就能生成结果的现成流水线,可以互换、在速度与质量之间取舍的噪声调度器,以及可以组合成你自己系统的预训练模型组件。README 称 Hub 上有超过 3 万个可用于 Diffusers 的检查点。
用 pip install diffusers[torch] 安装,用 DiffusionPipeline.from_pretrained 加载模型,再把它移到 GPU 上。通过 PyTorch 的 MPS 后端支持 Apple Silicon,文档里也有相应的指南。图像和视频模型的模型卡常常附有 Diffusers 代码片段,所以它是复现开发者自己示例的常见方式。
许可证是 Apache 2.0。它是给开发者用的代码,而不是现成的应用,想点点鼠标使用的话请看 ComfyUI。图像和视频模型本身很大,所以请在每个模型页面上查看内存需求。
适合做什么
- 用 Python 构建图像或视频生成功能
- 对扩散模型做微调或 LoRA 训练
- 复现模型卡中的示例
- 尝试不同调度器,在速度和质量之间取舍
需要注意
- 它是一个库,需要你自己写代码,或借助其他工具作为界面
- 模型很大,所需内存见每个模型页面
- 请查看模型卡要求的 Diffusers 版本,新模型需要较新的库版本