超大开源模型开始直接以 4 位发布:对内存规划意味着什么

我们目录中有八个模型直接以 4 位级格式发布主检查点,另有十九个在原版之外提供官方 4 位版本。看看文件大小,以及它们如何改变你需要的硬件。

  • 分析
  • 阅读约 7 分钟
  • 发布于
  • 更新于

多年来,开源模型都以 16 位发布,再由社区事后压缩。在我们的目录里,最大的那些模型已经不是这样了。在参数量 25B 及以上的当前模型中,有八个直接以 4 位级格式发布主检查点,另有十九个同样提供官方的 4 位版本。如果这些术语对你来说很陌生,请先读量化是什么。

八个主检查点就是 4 位级格式的模型

模型 参数 格式 检查点 我们的估算
Kimi K3.1 Pro 2.8T MXFP4 1,561 GB 约 1,717 GB
Kimi K3 2.8T MXFP4 1,561 GB 约 1,717 GB
DeepSeek V4 Pro 1.6T 专家为 FP4,其余为 FP8 893 GB 约 982 GB
Kimi K2.7 Code 1.03T INT4 595 GB 约 655 GB
MiMo-V2.6 Pro 1.02T 专家为 MXFP4,其余为 FP8 和 BF16 573 GB 约 630 GB
DeepSeek V4.1 Flash 552B FP8 与 FP4 混合 510 GB 约 561 GB
MiniMax M3.1 Flash 428B FP4 252 GB 约 277 GB
gpt-oss-120b 117B 专家为 MXFP4 65 GB 约 72 GB

Kimi、MiMo、gpt-oss 和 DeepSeek V4 都落在每个参数约 0.56 到 0.58 字节,略高于纯 MXFP4 的 0.53,而且 MiMo、gpt-oss 和 DeepSeek V4 明确表示只有专家权重是 4 位。DeepSeek V4.1 Flash 是例外,每个参数约 0.92 字节:它的检查点混合了 FP8 和 FP4,所以更多的部分留在了 FP8。

开发者称这是有意为之。月之暗面说 Kimi K3.1 Pro 从训练一开始就使用 MXFP4,OpenAI 对 gpt-oss 的专家权重做了 MXFP4 的后训练,MiniMax 说 M3.1 Flash 的训练就考虑了量化友好,NVIDIA 则用 NVFP4 方案预训练了 Nemotron 3 Ultra。

另有十九个提供官方 4 位版本

模型 原版 4 位版本 占比
LongCat-2.5 3,562 GB(BF16) 1,336 GB(W4A4) 38%
Inkling 1,909 GB(BF16) 594 GB(NVFP4) 31%
Muse Spark Open 1,644 GB(BF16) 533 GB(NVFP4) 32%
K-EXAONE 2.0 1,499 GB(BF16) 526 GB(NVFP4) 35%
Nemotron 3 Ultra 1,121 GB(BF16) 352 GB(NVFP4) 31%
Mistral Large 4 1,061 GB 610 GB(NVFP4) 57%
Reflection Beam 1,003 GB(BF16) 294 GB(NVFP4) 29%
A.X K2 694 GB(FP8) 398 GB(NVFP4) 57%
Motif 3 630 GB(BF16) 187 GB(NVFP4) 30%
Command A+ 438 GB(BF16) 132 GB(W4A4) 30%
Ornith 1.5 122B 250 GB(BF16) 78 GB(NVFP4) 31%
Nemotron 3.5 Super VL 249 GB(BF16) 75 GB(NVFP4) 30%
Ripple-65B Preview 130 GB(BF16) 57 GB(NVFP4) 44%
MiniCPM-V 4.7 35B-A3B 71 GB(BF16) 23 GB(int4) 32%
Nemotron 3.5 Transcribe 68 GB(BF16) 22 GB(NVFP4) 32%
Nanbeige4.3-33B 66 GB(BF16) 23 GB(INT4) 34%
Nemotron 3.5 Lightning 66 GB(BF16) 22 GB(NVFP4) 33%
Granite 4.2 30B 59 GB(BF16) 17 GB(MXFP4) 29%
Raon-1 mini preview 33 GB(MXFP8) 18 GB(NVFP4) 54%

4 位版本通常为 16 位大小的 29% 到 38%。Ripple-65B 的比例为 44%,因为它实验性的 NVFP4 版本只量化了 MLP 权重;Raon-1 mini preview、Mistral Large 4 和 A.X K2 的比例为 54% 到 57%,是因为它们的原版检查点本来就比 16 位小。

规划硬件时有什么变化

  • 以真实的文件大小为准。 对于已发布的 4 位权重,我们的估算器取实际下载大小再加 10%,而不是用通用公式,这样 Kimi K3.1 Pro 约为 1.7 TB。内存指南介绍了上下文缓存。
  • 再压缩的余地不大。 低于 4 位会造成明显的质量损失,所以一个 2.8 万亿参数的模型仍然需要多节点集群。
  • 官方 4 位版本改变了谁能运行模型。 Meta 介绍了用 MLX 在两台 Apple M5 Ultra 的 Mac Studio 上运行 Muse Spark Open,而 K-EXAONE 2.0 从 1,499 GB 降到了 526 GB。
  • 确认是谁做的版本。 Nota AI 制作的 Solar Open 2 INT4 版本为 143 GB,但不是 Upstage 做的,所以我们没有把它计入。
  • 确认硬件支持。 NVFP4 版本面向 NVIDIA Blackwell GPU,其他每种格式也各有对推理引擎的要求。

想了解每个模型落在哪一档,请打开按显存选模型列表。

来源

本文涉及的模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Kimi K3.1 Pro Moonshot AI 2.8T 激活 104B 1M Kimi K3 License (附条件) 1.72 TB 多机集群
Kimi K3 Moonshot AI 2.8T 激活 104B 1M Kimi K3 License (附条件) 1.72 TB 多机集群
DeepSeek V4 DeepSeek 284B – 1.6T 激活 49B 1M MIT (宽松) 176 GB 大内存台式机
Kimi K2.7 Code Moonshot AI 1.03T 激活 32B 256K Modified MIT (附条件) 655 GB GPU 服务器
MiMo-V2.6 Xiaomi 9.4B – 1.02T 激活 42B 1M MIT (宽松) 6.49 GB 笔记本或手机
DeepSeek V4.1 Flash DeepSeek 552B 激活 16B 1M MIT (宽松) 561 GB GPU 服务器
MiniMax M3.1 Flash MiniMax 428B 激活 23B 1M MiniMax Community (附条件) 277 GB 大内存台式机
gpt-oss OpenAI 21B – 117B 激活 5.1B 128K Apache 2.0 (宽松) 15 GB 笔记本或手机
LongCat-2.5 Meituan 1.6T 激活 48B 1M MIT (宽松) 1.1 TB GPU 服务器
Inkling Thinking Machines Lab 276B – 975B 激活 41B 1M Apache 2.0 (宽松) 188 GB 大内存台式机
Muse Spark Open Meta 816B 激活 42B 1M Muse Model License (附条件) 563 GB GPU 服务器
K-EXAONE 2.0 LG AI Research 750B 激活 37B 256K Apache 2.0 (宽松) 518 GB GPU 服务器
Nemotron 3 Ultra NVIDIA 550B 激活 55B 1M OpenMDW-1.1 (宽松) 379 GB 大内存台式机
Mistral Large 4 Mistral AI 1.05T 激活 52B 1M Mistral Open-Weight (附条件) 671 GB GPU 服务器
Reflection Beam Reflection AI 501B 激活 23.4B 1M Apache 2.0 (宽松) 323 GB 大内存台式机
A.X K2 SK Telecom 688B 激活 33B 256K Apache 2.0 (宽松) 438 GB 大内存台式机
Motif 3 Motif Technologies 314B 激活 13.2B 256K MIT (宽松) 206 GB 大内存台式机
Command A+ Cohere 218B 激活 25B 128K Apache 2.0 (宽松) 145 GB 大内存台式机
Ornith 1.5 DeepReinforce 9.65B – 403B 激活 17B 256K MIT (宽松) 6.66 GB 笔记本或手机
Nemotron 3.5 NVIDIA 8B – 120B 激活 12B 1M OpenMDW-1.1 (宽松) 5.52 GB 笔记本或手机
Ripple-65B Preview Ricursive Intelligence 64.8B 1M Apache 2.0 (宽松) 45 GB 工作站
MiniCPM-V 4.7 OpenBMB 1.55B – 35.2B 激活 3B 256K Apache 2.0 (宽松) 1.07 GB 笔记本或手机
Nemotron 3.5 Transcribe NVIDIA 34B 激活 4.3B 64K OpenMDW-1.1 (宽松) 25 GB 游戏显卡
Nanbeige4.3-33B Nanbeige LLM Lab 33.1B 512K Apache 2.0 (宽松) 23 GB 游戏显卡
Nemotron 3.5 Lightning NVIDIA 31.6B 激活 3B 1M OpenMDW-1.1 (宽松) 22 GB 游戏显卡
Granite 4.2 IBM 3.7B – 29.3B 128K Apache 2.0 (宽松) 2.55 GB 笔记本或手机
Raon-1 mini preview KRAFTON 28.8B 激活 4.3B 256K Apache 2.0 (宽松) 18 GB 游戏显卡
Solar Open 2 Upstage 250B 激活 15B 1M Upstage Solar (附条件) 157 GB 大内存台式机