在本地运行图像和视频 AI 模型:ComfyUI、内存与许可证
如何在自己的 GPU 上运行 FLUX、Z-Image、Krea 2、MOSS-Image、Anima、Wan、LTX 和 Cosmos 3 等开放图像和视频生成模型:ComfyUI 入门、内存需求、卸载、LoRA 和许可证检查。
简短回答。 使用 ComfyUI,如果你更喜欢 Python,也可以用 Diffusers 库。选一个全部文件都能放进显存的模型,在较小的显卡上优先选择 INT8 或蒸馏版本。视频需要的内存比图像多得多,请先阅读许可证,因为其中一些最好的图像和视频模型并不是对所有企业都免费。Z-Image 和 MOSS-Image(图像)以及 Wan 2.2(视频)是 Apache 2.0,面向机器人的 Cosmos 3(视频)采用同样宽松的 OpenMDW-1.1。
这些模型与聊天模型有什么不同
聊天模型是一套权重。图像或视频生成模型则是由多个部分组成的流水线:主生成器(一个扩散模型)、把你的提示词转成数字的文本编码器,以及把结果转成像素的解码器。你需要下载并放进内存的是它们的总和,所以要看总的下载大小,而不是只看醒目的参数量。
它们的工作方式也不同。扩散模型要经过若干采样步数才能生成一张图片或一个片段,所以结果需要几秒到几分钟,而不是一个字一个字地流式输出。步骤更多、分辨率更高、片段更长,都需要更多时间和内存。蒸馏版本减少了步骤数,它们是本地使用的常见选择。许多模型还有一项引导设置,即无分类器引导,用来在贴合提示词和速度之间取舍,蒸馏版本常常把它直接做进了权重里。
工具
- ComfyUI 是常见的起点。你用节点搭建一张图,比如一个节点放模型、一个放提示词、一个放采样器,并且可以保存、分享和复用工作流。它会积极地管理内存,可以卸载或流式加载权重,这正是它能在配置一般的显卡上运行大模型的原因。它支持 NVIDIA、AMD、Intel 和 Apple 芯片,并提供 Windows 和 macOS 的桌面应用。
- Diffusers 是 Hugging Face 的扩散模型 Python 库,模型卡上经常给出它的示例代码。
- SGLang 内置了图像和视频生成引擎,适合在服务器上为他人提供模型服务。
ComfyUI 在它支持的模型里列出了 FLUX Klein、Qwen-Image、Wan 和 LTX,项目方还称,即使是最大的开放模型,也可以在低至 4 GB 显存加 8 GB 内存的条件下运行,不过内存越多速度越快。
能装下什么
| 模型 | 能生成什么 | 内存说明 | 许可证 |
|---|---|---|---|
| FLUX 3 Image Klein(5.6B) | 图像,以及根据最多 10 张参考图编辑 | 下载约 20 GB;开发者声明最低 22 GB;INT8 版本面向 8 GB,文本编码器需要额外内存 | FLUX Kommunity,营收低于 500 万美元时免费,需授权下载 |
| Z-Image(6B) | 由文本生成图像,图像里可以有中英文文字 | 开发者称 Turbo 能放进 16 GB 显存;Turbo 的 transformer 以 FP32 存放,下载约 33 GB,基础模型约 20.5 GB | Apache 2.0 |
| MOSS-Image(5B) | 由文本生成图像,能画大段中英文文字,还可用 JSON 版面固定各元素的位置 | 因为带有 16.8 GB 的文本编码器,仓库共 27.2 GB;开发者的低内存档位峰值为 3.65 GiB 显存和 14 GiB 系统内存,我们预计速度更慢 | Apache 2.0 |
| Krea 2(12.8B) | 由文本生成多样、有艺术感的图像,有用于 LoRA 训练的 Raw 基础版和 8 步的 Turbo | 连同文本编码器,流水线约 36 GB,据我们估算不做卸载约需 41 GB 的 GPU 显存 | Krea 2 Community,营收低于 100 万美元时免费,需授权下载 |
| FIBO 2.0(8B) | 根据结构化 JSON 提示词生成和编辑图像 | 连同文本编码器,流水线约 25.5 GB;需要 Diffusers 0.42 或更新版本,还需要一个语言模型来写提示词 | CC BY-NC 4.0,仅限非商业使用,需授权下载 |
| Anima(2B) | 由标签或句子生成动漫和插画;Turbo 版本只需 8 到 12 步 | Transformer、文本编码器和 VAE 合计约 5.6 GB | CircleStone Non-Commercial,权重仅限非商业使用;生成的图片可以自由使用 |
| Qwen-Image-2.1(7.1B) | 图像、编辑和真正的透明背景 | 由于 8B 的文本编码器,BF16 流水线约 33 GB;INT8 重打包版本约 17 GB | Qwen Research,仅限研究和评估 |
| MiniMax H3-Image(33B) | 1600 万像素图像,以及根据最多 16 张参考图编辑 | 整套约 135 GB;MiniMax 没有公布最低显存 | MiniMax H3-Image Community,美国、欧盟、英国和韩国不适用;营收上限 100 万美元 |
| Wan 2.2(5B 和 27B) | 约 5 秒的无声视频 | 5B:24 GB 的 GPU。27B 文生视频和图生视频:约 80 GB | Apache 2.0 |
| Cosmos 3(4B、16B、64B) | 带声音的短视频、图像和机器人动作,也能回答关于视频的问题 | Edge 9.2 GB、Nano 35 GB、Super 133 GB;只测试了 BF16,在装有 NVIDIA GPU 的 Linux 上运行 | OpenMDW-1.1,宽松 |
| LTX-2.5(22B) | 带同步声音的视频,以及多镜头场景 | 完整版本下载约 71 GB,需要 80 GB 以上的 GPU 内存;蒸馏的 INT8 版本约需 16 GB | LTX-2.x Community,营收低于 1000 万美元时免费,需授权下载 |
| MiniMax H3(33B) | 最长 15 秒、带立体声的视频;本地输出为 768p | 一个检查点约 144 GB;MiniMax 没有公布最低显存,自托管指南使用 8 张 B200 GPU | MiniMax H3 Community,美国、欧盟、英国和韩国不适用;超过 2000 万美元需授权 |
| Pika H3 Flex(H3 的适配器) | 最长 15 秒、带声音的视频,六步生成,输入可以是文字、帧或最多 12 个参考 | 加上 H3 基础文件约 147 GB;Pika 在 80 GB 的 H100 上测试,768p、15 秒片段需要 CPU 卸载 | MiniMax H3 Community,地区限制和 2000 万美元门槛相同 |
这些数字来自开发者的说明和他们发布的文件。如何理解它们,请参阅运行 AI 模型需要多少内存。
首次运行的小贴士
- 从官方工作流开始。 使用 ComfyUI 自带或模型自己仓库提供的示例工作流或模板,每次只改一个地方。
- 从小处开始。 先试低分辨率、短片段和蒸馏或 Turbo 版本。FLUX Klein 有 16 步的蒸馏版本,Qwen-Image-2.1、Z-Image 和 Krea 2 有 8 步的 Turbo 版本,Anima 有 8 到 12 步的 Turbo 版本,H3-Image 和 Pika H3 Flex 蒸馏成了 6 步。
- 较小的显卡选更轻量的版本。 INT8 和 FP8 的重打包版本能减少下载量和内存,通常只带来小幅质量损失。量化详解讲了其中的取舍。
- 让 ComfyUI 做卸载,并接受权重在 GPU 与系统内存之间移动时生成速度会变慢。
- 比较设置时固定随机种子,这样每次运行之间只有一处不同。
- 用模型自己的风格写提示词。 MOSS-Image 接受用 JSON 版面固定文字和物体的位置,FIBO 2.0 是用长 JSON 描述训练的,由它的辅助包替你写好,Anima 是用 Danbooru 风格的标签训练的,画师名要写在 @ 后面,所以请读一读模型卡里的提示词部分。
- 保持软件为最新。 新模型往往需要较新的版本。Qwen-Image-2.1 的模型卡要求 Transformers 5.17 或更新版本,以及从源码安装的 Diffusers。
- 把自定义节点当作你要安装的代码。 它们由社区制作,所以请像安装任何软件一样谨慎。
- 用 LoRA 添加风格或角色。 少量图片就能教会一个,微调入门解释了做法。
许可证在这里更重要
最强的几个开放图像和视频模型,都附带条件:
- FLUX 3 Image Klein 只在年营收低于 500 万美元时才可免费商用。商业用户必须过滤或审核输出,在法律要求时添加 AI 披露,并且不得用输出训练竞品模型。
- LTX-2.5 在营收(与关联公司合并计算)低于 1000 万美元时免费。你必须保留它的水印和来源标识功能,移除它们可能导致许可终止。
- Krea 2 只在年营收(与关联方合并计算)低于 100 万美元时才可免费商用,你分享的任何内容,名称都必须以“Krea”开头。
- FIBO 2.0 的权重是 CC BY-NC 4.0,所以任何商用都需要与 Bria 签订协议。
- Qwen-Image-2.1 仅限研究和评估,因此任何商业使用都需要向 Qwen 另行申请许可。
- MiniMax 的两个模型都不覆盖美国、欧盟、英国和韩国(属于地域限制)。H3-Image 在年营收超过 100 万美元时需要 MiniMax 授权,H3 则是超过 2000 万美元,并且两者都禁止用它们的输出训练其他 AI 模型。Pika H3 Flex 是 H3 的后训练版本,所以继承了 H3 的许可证,包括地区限制。
- Anima 的权重仅限非商业使用。没有另行取得许可,就不能把它放在收费服务后面,也不能嵌入变现的产品,不过你可以出售它生成的图片。它同时是 NVIDIA Cosmos 模型的衍生模型,所以 NVIDIA Open Model License 也同样适用。
- Z-Image、MOSS-Image 和 Wan 2.2 采用 Apache 2.0,没有营收限制。Z-Image 和 MOSS-Image 只能由文本生成图像,Wan 2.2 生成的是短的无声片段,而且已经发布一年多了。Cosmos 3 同样宽松,但它为机器人和自动驾驶研究而设计,只能在 NVIDIA GPU 上运行。
AI 模型许可证详解介绍了如何读懂这些条款。FLUX 3 Image Klein、Krea 2、FIBO 2.0 和 LTX-2.5 在 Hugging Face 上还需要授权才能下载,所以下载时需要账号和访问令牌。
负责任地使用
不要生成误导性的真人图像或视频,并尊重版权和人格权利。许多地方现在要求标注 AI 生成的媒体,LTX-2.5 等一些许可证还把来源标识功能作为使用条件。拿不准的时候,就把作品标注为 AI 生成。
常见问题
- 运行 FLUX 3 Image Klein 需要多少显存?
- 开发者对标准版本声明的最低要求是 22 GB。面向 ComfyUI 的 INT8 版本面向 8 GB 显存,文本编码器还需要额外的内存。
- 能在较小的 GPU 上运行 Wan 2.2 吗?
- 5B 模型面向 24 GB 的显卡。阿里的说明要求 27B 模型使用 80 GB,不过社区的量化版本和卸载可以降低这个要求,代价是速度变慢。
- ComfyUI 是免费的开源软件吗?
- 是的,它采用 GPL-3.0 许可证。它的核心完全可以离线运行。可选的合作伙伴节点会调用付费的外部 API,你可以把它们关掉。
- 我生成的图片和视频可以商用吗?
- 取决于模型的许可证。Z-Image、MOSS-Image 和 Wan 2.2 是 Apache 2.0,Cosmos 3 采用同样宽松的 OpenMDW-1.1。Anima 的权重仅限非商业使用,但用它生成的图片可以商用,而 FIBO 2.0 的权重同样仅限非商业使用,商用需要与 Bria 签订协议。FLUX 3 Image Klein 在年营收低于 500 万美元时可免费商用,并附带输出过滤的义务;Krea 2 在低于 100 万美元时可免费商用;LTX-2.5 在低于 1000 万美元时免费;Qwen-Image-2.1 仅限研究;MiniMax H3 系列和 Pika H3 Flex 的许可证在美国、欧盟、英国和韩国不适用。
- 必须用 NVIDIA 的 GPU 吗?
- ComfyUI 也支持 AMD、Intel、Apple 芯片和昇腾硬件,不过一些优化版本(如 NVFP4)需要较新的 NVIDIA GPU。请查看模型页面和模型自己的说明。
- 能在一张 GPU 上运行 MiniMax H3、H3-Image 或 Pika H3 Flex 吗?
- MiniMax 对 H3 和 H3-Image 都没有公布最低显存。一个 H3 视频检查点连同编码器约 144 GB,它的自托管指南使用 8 张 B200 GPU;H3-Image 整套约 135 GB。SGLang 列出了在小得多的显卡上卸载运行 H3 的方案,MiniMax 并未验证,所以预期速度会很慢。Pika H3 Flex 建立在同一套基础文件上,加上适配器约 147 GB;Pika 在 80 GB 的 H100 上测试了单卡请求,768p、15 秒的片段需要 CPU 卸载,主机内存约 94 GiB。
本文关键术语
- 无分类器引导(CFG) 无分类器引导,通常简称 CFG,是扩散模型里的一项设置,控制结果在多大程度上遵循你的提示词,代价是额外的计算。
- 扩散模型 扩散模型从随机噪声出发,一步一步去除噪声,最终生成图像或视频。
- 需授权下载的模型(Gated) Gated 模型是指在 Hugging Face 上下载前,必须先登录并接受条款或申请访问权限的开放模型。
- LoRA(低秩适配) LoRA 是低秩适配的简称,它通过训练一小组新增的权重来微调模型,而不是改动模型的全部参数。
- 量化 量化是用更少的比特位(例如 4 位而不是 16 位)来存储模型权重,以较小的质量代价减少内存占用并加快推理。
- 采样步数 采样步数是扩散模型把噪声变成图像或视频所经历的计算轮数。步数越少,结果越快,通常会损失一些细节或多样性。
- 文本编码器 在图像或视频生成模型里,文本编码器是一个独立的语言模型,负责把你的提示词变成生成器能用的数字。它会增加下载量和内存占用。
- 显存(VRAM) 显存是显卡上的内存,它决定了一块 GPU 能容纳哪些模型,因为权重必须装得进内存,模型才能快速运行。
本文提到的模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| FLUX 3 Image Klein Black Forest Labs | 5.6B | – | FLUX Kommunity (附条件) | 8 GB 笔记本或手机 | |
| Z-Image Tongyi MAI | 6.15B | – | Apache 2.0 (宽松) | 16 GB 笔记本或手机 | |
| Krea 2 Krea | 12.8B | – | Krea 2 Community (附条件) | 41 GB 工作站 | |
| MOSS-Image OpenMOSS | 5.08B | – | Apache 2.0 (宽松) | 4.2 GB 笔记本或手机 | |
| FIBO 2.0 Bria AI | 8.13B | – | CC BY-NC (非商用) | 29 GB 游戏显卡 | |
| Anima CircleStone Labs | 2.09B | – | CircleStone Non-Commercial (非商用) | 6.44 GB 笔记本或手机 | |
| Qwen-Image-2.1 Alibaba Qwen | 7.1B | – | Qwen Research License (非商用) | 20 GB 游戏显卡 | |
| MiniMax H3-Image MiniMax | 33.1B | – | MiniMax H3-Image Community (附条件) | 155 GB 大内存台式机 | |
| Wan 2.2 Alibaba Wan | 5B – 27B 激活 14B | – | Apache 2.0 (宽松) | 24 GB 游戏显卡 | |
| Cosmos 3 NVIDIA | 3.86B – 64.6B | – | OpenMDW-1.1 (宽松) | 11 GB 笔记本或手机 | |
| LTX-2.5 LTX (Lightricks) | 22B | – | LTX-2.x Community (附条件) | 16 GB 笔记本或手机 | |
| MiniMax H3 MiniMax | 33.1B | – | MiniMax H3 Community (附条件) | 166 GB 大内存台式机 | |
| Pika H3 Flex Pika | 33.1B | – | MiniMax H3 Community (附条件) | 169 GB 大内存台式机 |