运行 AI 模型需要多少内存?一份简明指南
估算开放 AI 模型所需的显存或内存:参数量乘以字节数的规则、量化能省多少、为什么上下文长度和混合专家很重要,并附计算示例表。
简短回答。 所需内存(GB)大致等于模型参数量(以十亿计)乘以每个参数的字节数,再加上约 15% 的额外开销。常见的 4 位版本每个参数约占 0.6 字节,所以 30B 的模型约需 20 GB,8B 的模型约需 5.5 GB。长上下文还需要额外的内存。对于混合专家模型,要按总参数量计算,而不是激活参数量。
经验法则
模型需要放进内存的大部分内容是权重。每个参数占用固定的字节数,这取决于你下载的文件的精度:
| 格式 | 每个参数的位数 | 每个参数的字节数 |
|---|---|---|
| BF16 或 FP16 | 16 | 2 |
| FP8 或 INT8 | 8 | 1 |
| 4 位(INT4、FP4) | 4 | 0.5 |
| GGUF Q4_K_M,常见的 4 位版本 | 约 4.8 | 约 0.6 |
| 三值,如 Ternary Bonsai 2 | 约 1.7 | 约 0.22 |
所需内存的计算方式是:
GB ≈ 以十亿计的参数量 × 每个参数的字节数 × 1.15
1.15 是给运行时缓冲区和少量上下文预留的约 15% 额外开销。显存计算器和每个模型页面上的内存估算用的也是同一条规则。按这条规则算出来的结果如下:
| 参数量 | BF16(16 位) | FP8(8 位) | 4 位(Q4_K_M 类) |
|---|---|---|---|
| 3B | 6.9 GB | 3.5 GB | 2.1 GB |
| 8B | 18.4 GB | 9.2 GB | 5.5 GB |
| 14B | 32.2 GB | 16.1 GB | 9.7 GB |
| 32B | 73.6 GB | 36.8 GB | 22.1 GB |
| 70B | 161 GB | 80.5 GB | 48.3 GB |
| 120B | 276 GB | 138 GB | 82.8 GB |
举个例子:Qwen3.8-27B 有 277.8 亿个参数。按 4 位计算,27.78 × 0.6 × 1.15 ≈ 19 GB,适合 24 GB 显存的显卡。它的 BF16 权重下载约 56 GB,阿里还发布了约 31 GB 的 FP8 版本。
这些都是估算值。如果开发者给出了最低要求,或者提供了更小的版本,模型页面会采用那个数字。
哪种内存才算数
- 自带显存的独立显卡。 模型完全放进显存时运行最快。如果放不下,软件要么拒绝加载,要么溢出到更慢的系统内存。
- Apple 芯片和其他统一内存的机器。 在 Mac 上,或者在 AMD Strix Halo、NVIDIA DGX Spark 这类系统上,处理器和显卡共用一块统一内存,所以 128 GB 内存的机器可以装下 24 GB 显卡装不下的模型。操作系统和你的其他应用也要占用一部分,而代价是速度:这种内存通常比高端 GPU 的显存慢。
- 只用系统内存。 模型可以只靠处理器运行,但速度很慢。
- 混合使用。 llama.cpp 等工具可以把一部分层放在 GPU 上,其余放在内存里。容量决定模型能不能装下,内存带宽决定生成文字有多快。
量化是最大的杠杆
量化是用更少的位数存储每个权重。从 16 位降到 4 位,模型会缩小到大约四分之一,这往往就是“需要服务器”和“一张游戏显卡就够”的区别。代价是质量会有小幅损失,位数越少、模型越小,损失越大。量化详解介绍了各种格式和取舍。
如今许多大型发布一开始就采用低精度。gpt-oss 在后训练时对专家权重做了 MXFP4 量化,所以它的 21B 模型只有约 14 GB;DeepSeek V4.1 Flash 的 5520 亿参数,发布时只有约 510 GB。
上下文长度与 KV 缓存
生成每一个新 token 时,模型都要回看之前所有的 token。它把中间结果存放在 KV 缓存里,避免重复计算,而这个缓存同样占用内存。它会随着对话变长而增长,并随同时服务的用户数成倍增加。
举个例子:一个 8B 级别的模型,有 32 层、8 个键值头、头维度 128,每个 token 要存储约 128 KB 的 16 位缓存。因此,128000 个 token 的上下文,在权重之外还需要大约 16 GB 的缓存,比同一个模型 4 位权重还要多。
不同模型的设计在这一点上差别很大。DeepSeek V4.1 Flash 专门针对长输入节省内存,Ling-3.1-flash 则用 72 层中的 63 层线性注意力层,让 100 万 token 的上下文成本可以承受。如果你打算使用长上下文,请查看模型页面,并留出充足的余量。
混合专家:内存取决于总量
混合专家模型有许多专家子网络,每个 token 只用其中几个。这让它速度很快,但所有专家仍然必须放在内存里。
gpt-oss 20B 总共有 210 亿个参数,激活 36 亿个。你需要大约 210 亿参数的内存,OpenAI 称 16 GB 内存即可容纳,但它生成文字的速度接近一个小得多的模型。GLM-5.3-Flash 总共有 3200 亿参数,激活 180 亿,所以即使每个 token 的计算很便宜,它也需要非常大的内存。榜单和模型页面都会同时列出这两个数字。
图像、视频和语音模型
这些模型以由多个部分组成的流水线形式发布:主生成器、文本编码器和解码器。规划时要看总的下载大小,而不是只看醒目的参数量。
- FLUX 3 Image Klein 有 56 亿参数,但它的 BF16 下载约 20 GB。INT8 版本面向 8 GB 显存,文本编码器需要额外的内存。
- Qwen-Image-2.1 有 71 亿参数,但由于 80 亿参数的文本编码器,完整的 BF16 流水线约 33 GB。INT8 重打包版本约 17 GB。
- Wan 2.2 的 5B 模型可以在 24 GB 的 GPU 上运行,而 27B 的文生视频和图生视频模型,按阿里的说明需要约 80 GB。
- LTX-2.5 的完整版本要求 80 GB 以上。蒸馏的 INT8 版本可以降到约 16 GB。
ComfyUI 可以把权重卸载到系统内存,让较小的显卡也能运行更大的模型,代价是速度变慢。在本地运行图像和视频模型会详细讲解。
常见硬件能装下什么
本站按每个模型的最小版本,把模型分成六个内存档位。下面的例子使用的是我们对最小版本的估算值。
| 档位 | 内存 | 典型机器 | 本站收录的例子 |
|---|---|---|---|
| 笔记本或手机 | 16 GB 以内 | 普通笔记本、手机或 8 至 16 GB 显存的显卡 | MiniCPM5-2B(0.7 GB)、Gemma 4 E2B(3.5 GB)、Olmo 3.1 7B(5 GB)、gpt-oss 20B(15.4 GB) |
| 游戏显卡 | 16 至 32 GB | RTX 3090、4090 或 5090,或 32 GB 的 Mac | Qwen3.8-27B(19 GB)、Muse Glimmer(20 GB)、Wan 2.2 5B(24 GB) |
| 工作站 | 32 至 96 GB | 96 GB 的工作站显卡或多张显卡 | Kolibri-1(54 GB) |
| 大内存台式机 | 96 至 512 GB | Mac Studio、AMD Strix Halo、NVIDIA DGX Spark | Qwen3.8-Flash-Next(124 GB)、GLM-5.3-Flash(221 GB)、Ling-3.1-flash(386 GB) |
| GPU 服务器 | 512 GB 至 1.5 TB | 8 卡 H100、H200 或 B200 服务器 | GLM-5.3(520 GB)、DeepSeek V4.1 Flash(561 GB)、Mistral Large 4(671 GB) |
| 多机集群 | 1.5 TB 以上 | 多台 GPU 服务器协同工作 | Qwen3.8-Max(1.7 TB)、Kimi K3.1 Pro(1.7 TB) |
按显存选模型页面列出了每个档位里的所有模型。
五步检查清单
- 在模型页面找到模型的总参数量。
- 选择一种精度:消费级硬件上的语言模型选 4 位,内存充裕时选 8 位。
- 套用规则:参数量 × 每个参数的字节数 × 1.15。
- 如果需要长对话或多个用户,为上下文缓存留出空间。
- 与你的显存或统一内存对比,给操作系统留一些,然后实际测试。
常见问题
- 运行 8B 模型需要多少显存?
- 按本站使用的规则(额外加 15% 的开销),4 位精度约需 5.5 GB,8 位约 9 GB,16 位约 18 GB。对话越长,上下文缓存还需要更多内存。
- 能运行比显存还大的模型吗?
- 通常可以。llama.cpp 等工具可以把一部分层放在 GPU 上,其余放在系统内存里;ComfyUI 也可以为图像和视频模型卸载权重。可以运行,但生成速度会慢很多。
- 混合专家模型需要的内存更少吗?
- 不会。所有专家都必须加载,所以内存取决于总参数量。变得便宜的是速度,因为每个 token 只用到激活的那部分参数。
- 更长的上下文窗口需要更多内存吗?
- 需要。模型要为对话中的每个 token 存储键值缓存,所以长上下文或大量并发用户占用的内存,可能和权重本身一样多。
- 内存和显存哪个更重要?
- 如果有独立显卡,显存更重要,因为模型完全放进显存时运行最快。在 Apple 芯片和其他统一内存的机器上,CPU 和 GPU 共用同一块内存,所以看的是总内存。
本文关键术语
- KV 缓存 KV 缓存是模型用来记住对话中此前 token 的内存,它会随上下文长度增长。
- 混合专家模型(MoE) 混合专家模型包含许多专门的子网络,每个 token 只使用其中少数几个,因此可以做得很大,同时依然很快。
- 精度(BF16、FP8、INT4) 精度指的是模型中每个数字用多少比特位来存储,例如 16 位的 BF16、8 位的 FP8 或 4 位的 INT4;位数越少,模型越小、越快。
- 量化 量化是用更少的比特位(例如 4 位而不是 16 位)来存储模型权重,以较小的质量代价减少内存占用并加快推理。
- 三值权重(Ternary weights,1.58 位) 三值权重把每个模型权重限制为 -1、0 或 +1 三个值之一,所以每个权重只需不到 2 位,而不是 16 位。
- 统一内存 统一内存是 Apple 芯片和其他一些芯片采用的设计,CPU 和 GPU 共用同一块内存,因此大模型可以使用其中的大部分。
- 显存(VRAM) 显存是显卡上的内存,它决定了一块 GPU 能容纳哪些模型,因为权重必须装得进内存,模型才能快速运行。
本文提到的模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| Gemma 4 Google DeepMind | 5.1B – 30.7B | 256K | Apache 2.0 (宽松) | 3.52 GB 笔记本或手机 | |
| Qwen3.8-27B Alibaba Qwen | 27.8B | 256K | Apache 2.0 (宽松) | 19 GB 游戏显卡 | |
| gpt-oss OpenAI | 21B – 117B 激活 5.1B | 128K | Apache 2.0 (宽松) | 15 GB 笔记本或手机 | |
| GLM-5.3-Flash Z.ai (Zhipu AI) | 320B 激活 18B | 1M | MIT (宽松) | 221 GB 大内存台式机 | |
| FLUX 3 Image Klein Black Forest Labs | 5.6B | – | FLUX Kommunity (附条件) | 8 GB 笔记本或手机 | |
| Wan 2.2 Alibaba Wan | 5B – 27B 激活 14B | – | Apache 2.0 (宽松) | 24 GB 游戏显卡 |