在本地运行图像和视频 AI 模型:ComfyUI、内存与许可证

如何在自己的 GPU 上运行 FLUX、Z-Image、Krea 2、MOSS-Image、Anima、Wan、LTX 和 Cosmos 3 等开放图像和视频生成模型:ComfyUI 入门、内存需求、卸载、LoRA 和许可证检查。

  • 进阶
  • 阅读约 12 分钟
  • 发布于
  • 更新于

简短回答。 使用 ComfyUI,如果你更喜欢 Python,也可以用 Diffusers 库。选一个全部文件都能放进显存的模型,在较小的显卡上优先选择 INT8 或蒸馏版本。视频需要的内存比图像多得多,请先阅读许可证,因为其中一些最好的图像和视频模型并不是对所有企业都免费。Z-Image 和 MOSS-Image(图像)以及 Wan 2.2(视频)是 Apache 2.0,面向机器人的 Cosmos 3(视频)采用同样宽松的 OpenMDW-1.1。

这些模型与聊天模型有什么不同

聊天模型是一套权重。图像或视频生成模型则是由多个部分组成的流水线:主生成器(一个扩散模型)、把你的提示词转成数字的文本编码器,以及把结果转成像素的解码器。你需要下载并放进内存的是它们的总和,所以要看总的下载大小,而不是只看醒目的参数量。

它们的工作方式也不同。扩散模型要经过若干采样步数才能生成一张图片或一个片段,所以结果需要几秒到几分钟,而不是一个字一个字地流式输出。步骤更多、分辨率更高、片段更长,都需要更多时间和内存。蒸馏版本减少了步骤数,它们是本地使用的常见选择。许多模型还有一项引导设置,即无分类器引导,用来在贴合提示词和速度之间取舍,蒸馏版本常常把它直接做进了权重里。

工具

  • ComfyUI 是常见的起点。你用节点搭建一张图,比如一个节点放模型、一个放提示词、一个放采样器,并且可以保存、分享和复用工作流。它会积极地管理内存,可以卸载或流式加载权重,这正是它能在配置一般的显卡上运行大模型的原因。它支持 NVIDIA、AMD、Intel 和 Apple 芯片,并提供 Windows 和 macOS 的桌面应用。
  • Diffusers 是 Hugging Face 的扩散模型 Python 库,模型卡上经常给出它的示例代码。
  • SGLang 内置了图像和视频生成引擎,适合在服务器上为他人提供模型服务。

ComfyUI 在它支持的模型里列出了 FLUX Klein、Qwen-Image、Wan 和 LTX,项目方还称,即使是最大的开放模型,也可以在低至 4 GB 显存加 8 GB 内存的条件下运行,不过内存越多速度越快。

能装下什么

模型 能生成什么 内存说明 许可证
FLUX 3 Image Klein(5.6B) 图像,以及根据最多 10 张参考图编辑 下载约 20 GB;开发者声明最低 22 GB;INT8 版本面向 8 GB,文本编码器需要额外内存 FLUX Kommunity,营收低于 500 万美元时免费,需授权下载
Z-Image(6B) 由文本生成图像,图像里可以有中英文文字 开发者称 Turbo 能放进 16 GB 显存;Turbo 的 transformer 以 FP32 存放,下载约 33 GB,基础模型约 20.5 GB Apache 2.0
MOSS-Image(5B) 由文本生成图像,能画大段中英文文字,还可用 JSON 版面固定各元素的位置 因为带有 16.8 GB 的文本编码器,仓库共 27.2 GB;开发者的低内存档位峰值为 3.65 GiB 显存和 14 GiB 系统内存,我们预计速度更慢 Apache 2.0
Krea 2(12.8B) 由文本生成多样、有艺术感的图像,有用于 LoRA 训练的 Raw 基础版和 8 步的 Turbo 连同文本编码器,流水线约 36 GB,据我们估算不做卸载约需 41 GB 的 GPU 显存 Krea 2 Community,营收低于 100 万美元时免费,需授权下载
FIBO 2.0(8B) 根据结构化 JSON 提示词生成和编辑图像 连同文本编码器,流水线约 25.5 GB;需要 Diffusers 0.42 或更新版本,还需要一个语言模型来写提示词 CC BY-NC 4.0,仅限非商业使用,需授权下载
Anima(2B) 由标签或句子生成动漫和插画;Turbo 版本只需 8 到 12 步 Transformer、文本编码器和 VAE 合计约 5.6 GB CircleStone Non-Commercial,权重仅限非商业使用;生成的图片可以自由使用
Qwen-Image-2.1(7.1B) 图像、编辑和真正的透明背景 由于 8B 的文本编码器,BF16 流水线约 33 GB;INT8 重打包版本约 17 GB Qwen Research,仅限研究和评估
MiniMax H3-Image(33B) 1600 万像素图像,以及根据最多 16 张参考图编辑 整套约 135 GB;MiniMax 没有公布最低显存 MiniMax H3-Image Community,美国、欧盟、英国和韩国不适用;营收上限 100 万美元
Wan 2.2(5B 和 27B) 约 5 秒的无声视频 5B:24 GB 的 GPU。27B 文生视频和图生视频:约 80 GB Apache 2.0
Cosmos 3(4B、16B、64B) 带声音的短视频、图像和机器人动作,也能回答关于视频的问题 Edge 9.2 GB、Nano 35 GB、Super 133 GB;只测试了 BF16,在装有 NVIDIA GPU 的 Linux 上运行 OpenMDW-1.1,宽松
LTX-2.5(22B) 带同步声音的视频,以及多镜头场景 完整版本下载约 71 GB,需要 80 GB 以上的 GPU 内存;蒸馏的 INT8 版本约需 16 GB LTX-2.x Community,营收低于 1000 万美元时免费,需授权下载
MiniMax H3(33B) 最长 15 秒、带立体声的视频;本地输出为 768p 一个检查点约 144 GB;MiniMax 没有公布最低显存,自托管指南使用 8 张 B200 GPU MiniMax H3 Community,美国、欧盟、英国和韩国不适用;超过 2000 万美元需授权
Pika H3 Flex(H3 的适配器) 最长 15 秒、带声音的视频,六步生成,输入可以是文字、帧或最多 12 个参考 加上 H3 基础文件约 147 GB;Pika 在 80 GB 的 H100 上测试,768p、15 秒片段需要 CPU 卸载 MiniMax H3 Community,地区限制和 2000 万美元门槛相同

这些数字来自开发者的说明和他们发布的文件。如何理解它们,请参阅运行 AI 模型需要多少内存。

首次运行的小贴士

  • 从官方工作流开始。 使用 ComfyUI 自带或模型自己仓库提供的示例工作流或模板,每次只改一个地方。
  • 从小处开始。 先试低分辨率、短片段和蒸馏或 Turbo 版本。FLUX Klein 有 16 步的蒸馏版本,Qwen-Image-2.1、Z-Image 和 Krea 2 有 8 步的 Turbo 版本,Anima 有 8 到 12 步的 Turbo 版本,H3-Image 和 Pika H3 Flex 蒸馏成了 6 步。
  • 较小的显卡选更轻量的版本。 INT8 和 FP8 的重打包版本能减少下载量和内存,通常只带来小幅质量损失。量化详解讲了其中的取舍。
  • 让 ComfyUI 做卸载,并接受权重在 GPU 与系统内存之间移动时生成速度会变慢。
  • 比较设置时固定随机种子,这样每次运行之间只有一处不同。
  • 用模型自己的风格写提示词。 MOSS-Image 接受用 JSON 版面固定文字和物体的位置,FIBO 2.0 是用长 JSON 描述训练的,由它的辅助包替你写好,Anima 是用 Danbooru 风格的标签训练的,画师名要写在 @ 后面,所以请读一读模型卡里的提示词部分。
  • 保持软件为最新。 新模型往往需要较新的版本。Qwen-Image-2.1 的模型卡要求 Transformers 5.17 或更新版本,以及从源码安装的 Diffusers。
  • 把自定义节点当作你要安装的代码。 它们由社区制作,所以请像安装任何软件一样谨慎。
  • 用 LoRA 添加风格或角色。 少量图片就能教会一个,微调入门解释了做法。

许可证在这里更重要

最强的几个开放图像和视频模型,都附带条件:

  • FLUX 3 Image Klein 只在年营收低于 500 万美元时才可免费商用。商业用户必须过滤或审核输出,在法律要求时添加 AI 披露,并且不得用输出训练竞品模型。
  • LTX-2.5 在营收(与关联公司合并计算)低于 1000 万美元时免费。你必须保留它的水印和来源标识功能,移除它们可能导致许可终止。
  • Krea 2 只在年营收(与关联方合并计算)低于 100 万美元时才可免费商用,你分享的任何内容,名称都必须以“Krea”开头。
  • FIBO 2.0 的权重是 CC BY-NC 4.0,所以任何商用都需要与 Bria 签订协议。
  • Qwen-Image-2.1 仅限研究和评估,因此任何商业使用都需要向 Qwen 另行申请许可。
  • MiniMax 的两个模型都不覆盖美国、欧盟、英国和韩国(属于地域限制)。H3-Image 在年营收超过 100 万美元时需要 MiniMax 授权,H3 则是超过 2000 万美元,并且两者都禁止用它们的输出训练其他 AI 模型。Pika H3 Flex 是 H3 的后训练版本,所以继承了 H3 的许可证,包括地区限制。
  • Anima 的权重仅限非商业使用。没有另行取得许可,就不能把它放在收费服务后面,也不能嵌入变现的产品,不过你可以出售它生成的图片。它同时是 NVIDIA Cosmos 模型的衍生模型,所以 NVIDIA Open Model License 也同样适用。
  • Z-Image、MOSS-Image 和 Wan 2.2 采用 Apache 2.0,没有营收限制。Z-Image 和 MOSS-Image 只能由文本生成图像,Wan 2.2 生成的是短的无声片段,而且已经发布一年多了。Cosmos 3 同样宽松,但它为机器人和自动驾驶研究而设计,只能在 NVIDIA GPU 上运行。

AI 模型许可证详解介绍了如何读懂这些条款。FLUX 3 Image Klein、Krea 2、FIBO 2.0 和 LTX-2.5 在 Hugging Face 上还需要授权才能下载,所以下载时需要账号和访问令牌。

负责任地使用

不要生成误导性的真人图像或视频,并尊重版权和人格权利。许多地方现在要求标注 AI 生成的媒体,LTX-2.5 等一些许可证还把来源标识功能作为使用条件。拿不准的时候,就把作品标注为 AI 生成。

常见问题

运行 FLUX 3 Image Klein 需要多少显存?
开发者对标准版本声明的最低要求是 22 GB。面向 ComfyUI 的 INT8 版本面向 8 GB 显存,文本编码器还需要额外的内存。
能在较小的 GPU 上运行 Wan 2.2 吗?
5B 模型面向 24 GB 的显卡。阿里的说明要求 27B 模型使用 80 GB,不过社区的量化版本和卸载可以降低这个要求,代价是速度变慢。
ComfyUI 是免费的开源软件吗?
是的,它采用 GPL-3.0 许可证。它的核心完全可以离线运行。可选的合作伙伴节点会调用付费的外部 API,你可以把它们关掉。
我生成的图片和视频可以商用吗?
取决于模型的许可证。Z-Image、MOSS-Image 和 Wan 2.2 是 Apache 2.0,Cosmos 3 采用同样宽松的 OpenMDW-1.1。Anima 的权重仅限非商业使用,但用它生成的图片可以商用,而 FIBO 2.0 的权重同样仅限非商业使用,商用需要与 Bria 签订协议。FLUX 3 Image Klein 在年营收低于 500 万美元时可免费商用,并附带输出过滤的义务;Krea 2 在低于 100 万美元时可免费商用;LTX-2.5 在低于 1000 万美元时免费;Qwen-Image-2.1 仅限研究;MiniMax H3 系列和 Pika H3 Flex 的许可证在美国、欧盟、英国和韩国不适用。
必须用 NVIDIA 的 GPU 吗?
ComfyUI 也支持 AMD、Intel、Apple 芯片和昇腾硬件,不过一些优化版本(如 NVFP4)需要较新的 NVIDIA GPU。请查看模型页面和模型自己的说明。
能在一张 GPU 上运行 MiniMax H3、H3-Image 或 Pika H3 Flex 吗?
MiniMax 对 H3 和 H3-Image 都没有公布最低显存。一个 H3 视频检查点连同编码器约 144 GB,它的自托管指南使用 8 张 B200 GPU;H3-Image 整套约 135 GB。SGLang 列出了在小得多的显卡上卸载运行 H3 的方案,MiniMax 并未验证,所以预期速度会很慢。Pika H3 Flex 建立在同一套基础文件上,加上适配器约 147 GB;Pika 在 80 GB 的 H100 上测试了单卡请求,768p、15 秒的片段需要 CPU 卸载,主机内存约 94 GiB。

本文关键术语

  • 无分类器引导(CFG) 无分类器引导,通常简称 CFG,是扩散模型里的一项设置,控制结果在多大程度上遵循你的提示词,代价是额外的计算。
  • 扩散模型 扩散模型从随机噪声出发,一步一步去除噪声,最终生成图像或视频。
  • 需授权下载的模型(Gated) Gated 模型是指在 Hugging Face 上下载前,必须先登录并接受条款或申请访问权限的开放模型。
  • LoRA(低秩适配) LoRA 是低秩适配的简称,它通过训练一小组新增的权重来微调模型,而不是改动模型的全部参数。
  • 量化 量化是用更少的比特位(例如 4 位而不是 16 位)来存储模型权重,以较小的质量代价减少内存占用并加快推理。
  • 采样步数 采样步数是扩散模型把噪声变成图像或视频所经历的计算轮数。步数越少,结果越快,通常会损失一些细节或多样性。
  • 文本编码器 在图像或视频生成模型里,文本编码器是一个独立的语言模型,负责把你的提示词变成生成器能用的数字。它会增加下载量和内存占用。
  • 显存(VRAM) 显存是显卡上的内存,它决定了一块 GPU 能容纳哪些模型,因为权重必须装得进内存,模型才能快速运行。

本文提到的模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
FLUX 3 Image Klein Black Forest Labs 5.6B – FLUX Kommunity (附条件) 8 GB 笔记本或手机
Z-Image Tongyi MAI 6.15B – Apache 2.0 (宽松) 16 GB 笔记本或手机
Krea 2 Krea 12.8B – Krea 2 Community (附条件) 41 GB 工作站
MOSS-Image OpenMOSS 5.08B – Apache 2.0 (宽松) 4.2 GB 笔记本或手机
FIBO 2.0 Bria AI 8.13B – CC BY-NC (非商用) 29 GB 游戏显卡
Anima CircleStone Labs 2.09B – CircleStone Non-Commercial (非商用) 6.44 GB 笔记本或手机
Qwen-Image-2.1 Alibaba Qwen 7.1B – Qwen Research License (非商用) 20 GB 游戏显卡
MiniMax H3-Image MiniMax 33.1B – MiniMax H3-Image Community (附条件) 155 GB 大内存台式机
Wan 2.2 Alibaba Wan 5B – 27B 激活 14B – Apache 2.0 (宽松) 24 GB 游戏显卡
Cosmos 3 NVIDIA 3.86B – 64.6B – OpenMDW-1.1 (宽松) 11 GB 笔记本或手机
LTX-2.5 LTX (Lightricks) 22B – LTX-2.x Community (附条件) 16 GB 笔记本或手机
MiniMax H3 MiniMax 33.1B – MiniMax H3 Community (附条件) 166 GB 大内存台式机
Pika H3 Flex Pika 33.1B – MiniMax H3 Community (附条件) 169 GB 大内存台式机