运行 AI 模型需要多少内存?一份简明指南

估算开放 AI 模型所需的显存或内存:参数量乘以字节数的规则、量化能省多少、为什么上下文长度和混合专家很重要,并附计算示例表。

  • 入门
  • 阅读约 8 分钟
  • 发布于
  • 更新于

简短回答。 所需内存(GB)大致等于模型参数量(以十亿计)乘以每个参数的字节数,再加上约 15% 的额外开销。常见的 4 位版本每个参数约占 0.6 字节,所以 30B 的模型约需 20 GB,8B 的模型约需 5.5 GB。长上下文还需要额外的内存。对于混合专家模型,要按总参数量计算,而不是激活参数量。

经验法则

模型需要放进内存的大部分内容是权重。每个参数占用固定的字节数,这取决于你下载的文件的精度:

格式 每个参数的位数 每个参数的字节数
BF16 或 FP16 16 2
FP8 或 INT8 8 1
4 位(INT4、FP4) 4 0.5
GGUF Q4_K_M,常见的 4 位版本 约 4.8 约 0.6
三值,如 Ternary Bonsai 2 约 1.7 约 0.22

所需内存的计算方式是:

GB ≈ 以十亿计的参数量 × 每个参数的字节数 × 1.15

1.15 是给运行时缓冲区和少量上下文预留的约 15% 额外开销。显存计算器和每个模型页面上的内存估算用的也是同一条规则。按这条规则算出来的结果如下:

参数量 BF16(16 位) FP8(8 位) 4 位(Q4_K_M 类)
3B 6.9 GB 3.5 GB 2.1 GB
8B 18.4 GB 9.2 GB 5.5 GB
14B 32.2 GB 16.1 GB 9.7 GB
32B 73.6 GB 36.8 GB 22.1 GB
70B 161 GB 80.5 GB 48.3 GB
120B 276 GB 138 GB 82.8 GB

举个例子:Qwen3.8-27B 有 277.8 亿个参数。按 4 位计算,27.78 × 0.6 × 1.15 ≈ 19 GB,适合 24 GB 显存的显卡。它的 BF16 权重下载约 56 GB,阿里还发布了约 31 GB 的 FP8 版本。

这些都是估算值。如果开发者给出了最低要求,或者提供了更小的版本,模型页面会采用那个数字。

哪种内存才算数

  • 自带显存的独立显卡。 模型完全放进显存时运行最快。如果放不下,软件要么拒绝加载,要么溢出到更慢的系统内存。
  • Apple 芯片和其他统一内存的机器。 在 Mac 上,或者在 AMD Strix Halo、NVIDIA DGX Spark 这类系统上,处理器和显卡共用一块统一内存,所以 128 GB 内存的机器可以装下 24 GB 显卡装不下的模型。操作系统和你的其他应用也要占用一部分,而代价是速度:这种内存通常比高端 GPU 的显存慢。
  • 只用系统内存。 模型可以只靠处理器运行,但速度很慢。
  • 混合使用。 llama.cpp 等工具可以把一部分层放在 GPU 上,其余放在内存里。容量决定模型能不能装下,内存带宽决定生成文字有多快。

量化是最大的杠杆

量化是用更少的位数存储每个权重。从 16 位降到 4 位,模型会缩小到大约四分之一,这往往就是“需要服务器”和“一张游戏显卡就够”的区别。代价是质量会有小幅损失,位数越少、模型越小,损失越大。量化详解介绍了各种格式和取舍。

如今许多大型发布一开始就采用低精度。gpt-oss 在后训练时对专家权重做了 MXFP4 量化,所以它的 21B 模型只有约 14 GB;DeepSeek V4.1 Flash 的 5520 亿参数,发布时只有约 510 GB。

上下文长度与 KV 缓存

生成每一个新 token 时,模型都要回看之前所有的 token。它把中间结果存放在 KV 缓存里,避免重复计算,而这个缓存同样占用内存。它会随着对话变长而增长,并随同时服务的用户数成倍增加。

举个例子:一个 8B 级别的模型,有 32 层、8 个键值头、头维度 128,每个 token 要存储约 128 KB 的 16 位缓存。因此,128000 个 token 的上下文,在权重之外还需要大约 16 GB 的缓存,比同一个模型 4 位权重还要多。

不同模型的设计在这一点上差别很大。DeepSeek V4.1 Flash 专门针对长输入节省内存,Ling-3.1-flash 则用 72 层中的 63 层线性注意力层,让 100 万 token 的上下文成本可以承受。如果你打算使用长上下文,请查看模型页面,并留出充足的余量。

混合专家:内存取决于总量

混合专家模型有许多专家子网络,每个 token 只用其中几个。这让它速度很快,但所有专家仍然必须放在内存里。

gpt-oss 20B 总共有 210 亿个参数,激活 36 亿个。你需要大约 210 亿参数的内存,OpenAI 称 16 GB 内存即可容纳,但它生成文字的速度接近一个小得多的模型。GLM-5.3-Flash 总共有 3200 亿参数,激活 180 亿,所以即使每个 token 的计算很便宜,它也需要非常大的内存。榜单和模型页面都会同时列出这两个数字。

图像、视频和语音模型

这些模型以由多个部分组成的流水线形式发布:主生成器、文本编码器和解码器。规划时要看总的下载大小,而不是只看醒目的参数量。

  • FLUX 3 Image Klein 有 56 亿参数,但它的 BF16 下载约 20 GB。INT8 版本面向 8 GB 显存,文本编码器需要额外的内存。
  • Qwen-Image-2.1 有 71 亿参数,但由于 80 亿参数的文本编码器,完整的 BF16 流水线约 33 GB。INT8 重打包版本约 17 GB。
  • Wan 2.2 的 5B 模型可以在 24 GB 的 GPU 上运行,而 27B 的文生视频和图生视频模型,按阿里的说明需要约 80 GB。
  • LTX-2.5 的完整版本要求 80 GB 以上。蒸馏的 INT8 版本可以降到约 16 GB。

ComfyUI 可以把权重卸载到系统内存,让较小的显卡也能运行更大的模型,代价是速度变慢。在本地运行图像和视频模型会详细讲解。

常见硬件能装下什么

本站按每个模型的最小版本,把模型分成六个内存档位。下面的例子使用的是我们对最小版本的估算值。

档位 内存 典型机器 本站收录的例子
笔记本或手机 16 GB 以内 普通笔记本、手机或 8 至 16 GB 显存的显卡 MiniCPM5-2B(0.7 GB)、Gemma 4 E2B(3.5 GB)、Olmo 3.1 7B(5 GB)、gpt-oss 20B(15.4 GB)
游戏显卡 16 至 32 GB RTX 3090、4090 或 5090,或 32 GB 的 Mac Qwen3.8-27B(19 GB)、Muse Glimmer(20 GB)、Wan 2.2 5B(24 GB)
工作站 32 至 96 GB 96 GB 的工作站显卡或多张显卡 Kolibri-1(54 GB)
大内存台式机 96 至 512 GB Mac Studio、AMD Strix Halo、NVIDIA DGX Spark Qwen3.8-Flash-Next(124 GB)、GLM-5.3-Flash(221 GB)、Ling-3.1-flash(386 GB)
GPU 服务器 512 GB 至 1.5 TB 8 卡 H100、H200 或 B200 服务器 GLM-5.3(520 GB)、DeepSeek V4.1 Flash(561 GB)、Mistral Large 4(671 GB)
多机集群 1.5 TB 以上 多台 GPU 服务器协同工作 Qwen3.8-Max(1.7 TB)、Kimi K3.1 Pro(1.7 TB)

按显存选模型页面列出了每个档位里的所有模型。

五步检查清单

  1. 在模型页面找到模型的总参数量。
  2. 选择一种精度:消费级硬件上的语言模型选 4 位,内存充裕时选 8 位。
  3. 套用规则:参数量 × 每个参数的字节数 × 1.15。
  4. 如果需要长对话或多个用户,为上下文缓存留出空间。
  5. 与你的显存或统一内存对比,给操作系统留一些,然后实际测试。

常见问题

运行 8B 模型需要多少显存?
按本站使用的规则(额外加 15% 的开销),4 位精度约需 5.5 GB,8 位约 9 GB,16 位约 18 GB。对话越长,上下文缓存还需要更多内存。
能运行比显存还大的模型吗?
通常可以。llama.cpp 等工具可以把一部分层放在 GPU 上,其余放在系统内存里;ComfyUI 也可以为图像和视频模型卸载权重。可以运行,但生成速度会慢很多。
混合专家模型需要的内存更少吗?
不会。所有专家都必须加载,所以内存取决于总参数量。变得便宜的是速度,因为每个 token 只用到激活的那部分参数。
更长的上下文窗口需要更多内存吗?
需要。模型要为对话中的每个 token 存储键值缓存,所以长上下文或大量并发用户占用的内存,可能和权重本身一样多。
内存和显存哪个更重要?
如果有独立显卡,显存更重要,因为模型完全放进显存时运行最快。在 Apple 芯片和其他统一内存的机器上,CPU 和 GPU 共用同一块内存,所以看的是总内存。

本文关键术语

  • KV 缓存 KV 缓存是模型用来记住对话中此前 token 的内存,它会随上下文长度增长。
  • 混合专家模型(MoE) 混合专家模型包含许多专门的子网络,每个 token 只使用其中少数几个,因此可以做得很大,同时依然很快。
  • 精度(BF16、FP8、INT4) 精度指的是模型中每个数字用多少比特位来存储,例如 16 位的 BF16、8 位的 FP8 或 4 位的 INT4;位数越少,模型越小、越快。
  • 量化 量化是用更少的比特位(例如 4 位而不是 16 位)来存储模型权重,以较小的质量代价减少内存占用并加快推理。
  • 三值权重(Ternary weights,1.58 位) 三值权重把每个模型权重限制为 -1、0 或 +1 三个值之一,所以每个权重只需不到 2 位,而不是 16 位。
  • 统一内存 统一内存是 Apple 芯片和其他一些芯片采用的设计,CPU 和 GPU 共用同一块内存,因此大模型可以使用其中的大部分。
  • 显存(VRAM) 显存是显卡上的内存,它决定了一块 GPU 能容纳哪些模型,因为权重必须装得进内存,模型才能快速运行。

本文提到的模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Gemma 4 Google DeepMind 5.1B – 30.7B 256K Apache 2.0 (宽松) 3.52 GB 笔记本或手机
Qwen3.8-27B Alibaba Qwen 27.8B 256K Apache 2.0 (宽松) 19 GB 游戏显卡
gpt-oss OpenAI 21B – 117B 激活 5.1B 128K Apache 2.0 (宽松) 15 GB 笔记本或手机
GLM-5.3-Flash Z.ai (Zhipu AI) 320B 激活 18B 1M MIT (宽松) 221 GB 大内存台式机
FLUX 3 Image Klein Black Forest Labs 5.6B – FLUX Kommunity (附条件) 8 GB 笔记本或手机
Wan 2.2 Alibaba Wan 5B – 27B 激活 14B – Apache 2.0 (宽松) 24 GB 游戏显卡