超大开源模型开始直接以 4 位发布:对内存规划意味着什么
我们目录中有八个模型直接以 4 位级格式发布主检查点,另有十九个在原版之外提供官方 4 位版本。看看文件大小,以及它们如何改变你需要的硬件。
多年来,开源模型都以 16 位发布,再由社区事后压缩。在我们的目录里,最大的那些模型已经不是这样了。在参数量 25B 及以上的当前模型中,有八个直接以 4 位级格式发布主检查点,另有十九个同样提供官方的 4 位版本。如果这些术语对你来说很陌生,请先读量化是什么。
八个主检查点就是 4 位级格式的模型
| 模型 | 参数 | 格式 | 检查点 | 我们的估算 |
|---|---|---|---|---|
| Kimi K3.1 Pro | 2.8T | MXFP4 | 1,561 GB | 约 1,717 GB |
| Kimi K3 | 2.8T | MXFP4 | 1,561 GB | 约 1,717 GB |
| DeepSeek V4 Pro | 1.6T | 专家为 FP4,其余为 FP8 | 893 GB | 约 982 GB |
| Kimi K2.7 Code | 1.03T | INT4 | 595 GB | 约 655 GB |
| MiMo-V2.6 Pro | 1.02T | 专家为 MXFP4,其余为 FP8 和 BF16 | 573 GB | 约 630 GB |
| DeepSeek V4.1 Flash | 552B | FP8 与 FP4 混合 | 510 GB | 约 561 GB |
| MiniMax M3.1 Flash | 428B | FP4 | 252 GB | 约 277 GB |
| gpt-oss-120b | 117B | 专家为 MXFP4 | 65 GB | 约 72 GB |
Kimi、MiMo、gpt-oss 和 DeepSeek V4 都落在每个参数约 0.56 到 0.58 字节,略高于纯 MXFP4 的 0.53,而且 MiMo、gpt-oss 和 DeepSeek V4 明确表示只有专家权重是 4 位。DeepSeek V4.1 Flash 是例外,每个参数约 0.92 字节:它的检查点混合了 FP8 和 FP4,所以更多的部分留在了 FP8。
开发者称这是有意为之。月之暗面说 Kimi K3.1 Pro 从训练一开始就使用 MXFP4,OpenAI 对 gpt-oss 的专家权重做了 MXFP4 的后训练,MiniMax 说 M3.1 Flash 的训练就考虑了量化友好,NVIDIA 则用 NVFP4 方案预训练了 Nemotron 3 Ultra。
另有十九个提供官方 4 位版本
| 模型 | 原版 | 4 位版本 | 占比 |
|---|---|---|---|
| LongCat-2.5 | 3,562 GB(BF16) | 1,336 GB(W4A4) | 38% |
| Inkling | 1,909 GB(BF16) | 594 GB(NVFP4) | 31% |
| Muse Spark Open | 1,644 GB(BF16) | 533 GB(NVFP4) | 32% |
| K-EXAONE 2.0 | 1,499 GB(BF16) | 526 GB(NVFP4) | 35% |
| Nemotron 3 Ultra | 1,121 GB(BF16) | 352 GB(NVFP4) | 31% |
| Mistral Large 4 | 1,061 GB | 610 GB(NVFP4) | 57% |
| Reflection Beam | 1,003 GB(BF16) | 294 GB(NVFP4) | 29% |
| A.X K2 | 694 GB(FP8) | 398 GB(NVFP4) | 57% |
| Motif 3 | 630 GB(BF16) | 187 GB(NVFP4) | 30% |
| Command A+ | 438 GB(BF16) | 132 GB(W4A4) | 30% |
| Ornith 1.5 122B | 250 GB(BF16) | 78 GB(NVFP4) | 31% |
| Nemotron 3.5 Super VL | 249 GB(BF16) | 75 GB(NVFP4) | 30% |
| Ripple-65B Preview | 130 GB(BF16) | 57 GB(NVFP4) | 44% |
| MiniCPM-V 4.7 35B-A3B | 71 GB(BF16) | 23 GB(int4) | 32% |
| Nemotron 3.5 Transcribe | 68 GB(BF16) | 22 GB(NVFP4) | 32% |
| Nanbeige4.3-33B | 66 GB(BF16) | 23 GB(INT4) | 34% |
| Nemotron 3.5 Lightning | 66 GB(BF16) | 22 GB(NVFP4) | 33% |
| Granite 4.2 30B | 59 GB(BF16) | 17 GB(MXFP4) | 29% |
| Raon-1 mini preview | 33 GB(MXFP8) | 18 GB(NVFP4) | 54% |
4 位版本通常为 16 位大小的 29% 到 38%。Ripple-65B 的比例为 44%,因为它实验性的 NVFP4 版本只量化了 MLP 权重;Raon-1 mini preview、Mistral Large 4 和 A.X K2 的比例为 54% 到 57%,是因为它们的原版检查点本来就比 16 位小。
规划硬件时有什么变化
- 以真实的文件大小为准。 对于已发布的 4 位权重,我们的估算器取实际下载大小再加 10%,而不是用通用公式,这样 Kimi K3.1 Pro 约为 1.7 TB。内存指南介绍了上下文缓存。
- 再压缩的余地不大。 低于 4 位会造成明显的质量损失,所以一个 2.8 万亿参数的模型仍然需要多节点集群。
- 官方 4 位版本改变了谁能运行模型。 Meta 介绍了用 MLX 在两台 Apple M5 Ultra 的 Mac Studio 上运行 Muse Spark Open,而 K-EXAONE 2.0 从 1,499 GB 降到了 526 GB。
- 确认是谁做的版本。 Nota AI 制作的 Solar Open 2 INT4 版本为 143 GB,但不是 Upstage 做的,所以我们没有把它计入。
- 确认硬件支持。 NVFP4 版本面向 NVIDIA Blackwell GPU,其他每种格式也各有对推理引擎的要求。
想了解每个模型落在哪一档,请打开按显存选模型列表。
来源
- Kimi-K3.1-Pro model card (Hugging Face) huggingface.co
- DeepSeek-V4-Pro-0813 model card (Hugging Face) huggingface.co
- Kimi-K2.7-Code model card (Hugging Face) huggingface.co
- MiMo-V2.6-Pro-RL model card (Hugging Face) huggingface.co
- DeepSeek-V4.1-Flash model card (Hugging Face) huggingface.co
- MiniMax-M3.1-Flash model card (Hugging Face) huggingface.co
- gpt-oss-120b model card (Hugging Face) huggingface.co
- LongCat-2.5-W4A4 model card (Hugging Face) huggingface.co
- Muse-Spark-Open-816B-A42B model card (Hugging Face) huggingface.co
- K-EXAONE-2.0-750B-A37B-NVFP4 model card (Hugging Face) huggingface.co
- NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4 model card (Hugging Face) huggingface.co
- A.X-K2-NVFP4 model card (Hugging Face) huggingface.co
- Motif-3-NVFP4 model card (Hugging Face) huggingface.co
- Ornith-1.5-122B-NVFP4 model card (Hugging Face) huggingface.co
- Ripple-65B-Preview-NVFP4 model card (Hugging Face) huggingface.co
- Nanbeige4.3-33B-INT4 model card (Hugging Face) huggingface.co
- NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4 model card (Hugging Face) huggingface.co
- Raon-1-mini-preview-nvfp4 model card (Hugging Face) huggingface.co
- Solar-Open2-250B-Nota-INT4 model card (Hugging Face) huggingface.co
本文涉及的模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| Kimi K3.1 Pro Moonshot AI | 2.8T 激活 104B | 1M | Kimi K3 License (附条件) | 1.72 TB 多机集群 | |
| Kimi K3 Moonshot AI | 2.8T 激活 104B | 1M | Kimi K3 License (附条件) | 1.72 TB 多机集群 | |
| DeepSeek V4 DeepSeek | 284B – 1.6T 激活 49B | 1M | MIT (宽松) | 176 GB 大内存台式机 | |
| Kimi K2.7 Code Moonshot AI | 1.03T 激活 32B | 256K | Modified MIT (附条件) | 655 GB GPU 服务器 | |
| MiMo-V2.6 Xiaomi | 9.4B – 1.02T 激活 42B | 1M | MIT (宽松) | 6.49 GB 笔记本或手机 | |
| DeepSeek V4.1 Flash DeepSeek | 552B 激活 16B | 1M | MIT (宽松) | 561 GB GPU 服务器 | |
| MiniMax M3.1 Flash MiniMax | 428B 激活 23B | 1M | MiniMax Community (附条件) | 277 GB 大内存台式机 | |
| gpt-oss OpenAI | 21B – 117B 激活 5.1B | 128K | Apache 2.0 (宽松) | 15 GB 笔记本或手机 | |
| LongCat-2.5 Meituan | 1.6T 激活 48B | 1M | MIT (宽松) | 1.1 TB GPU 服务器 | |
| Inkling Thinking Machines Lab | 276B – 975B 激活 41B | 1M | Apache 2.0 (宽松) | 188 GB 大内存台式机 | |
| Muse Spark Open Meta | 816B 激活 42B | 1M | Muse Model License (附条件) | 563 GB GPU 服务器 | |
| K-EXAONE 2.0 LG AI Research | 750B 激活 37B | 256K | Apache 2.0 (宽松) | 518 GB GPU 服务器 | |
| Nemotron 3 Ultra NVIDIA | 550B 激活 55B | 1M | OpenMDW-1.1 (宽松) | 379 GB 大内存台式机 | |
| Mistral Large 4 Mistral AI | 1.05T 激活 52B | 1M | Mistral Open-Weight (附条件) | 671 GB GPU 服务器 | |
| Reflection Beam Reflection AI | 501B 激活 23.4B | 1M | Apache 2.0 (宽松) | 323 GB 大内存台式机 | |
| A.X K2 SK Telecom | 688B 激活 33B | 256K | Apache 2.0 (宽松) | 438 GB 大内存台式机 | |
| Motif 3 Motif Technologies | 314B 激活 13.2B | 256K | MIT (宽松) | 206 GB 大内存台式机 | |
| Command A+ Cohere | 218B 激活 25B | 128K | Apache 2.0 (宽松) | 145 GB 大内存台式机 | |
| Ornith 1.5 DeepReinforce | 9.65B – 403B 激活 17B | 256K | MIT (宽松) | 6.66 GB 笔记本或手机 | |
| Nemotron 3.5 NVIDIA | 8B – 120B 激活 12B | 1M | OpenMDW-1.1 (宽松) | 5.52 GB 笔记本或手机 | |
| Ripple-65B Preview Ricursive Intelligence | 64.8B | 1M | Apache 2.0 (宽松) | 45 GB 工作站 | |
| MiniCPM-V 4.7 OpenBMB | 1.55B – 35.2B 激活 3B | 256K | Apache 2.0 (宽松) | 1.07 GB 笔记本或手机 | |
| Nemotron 3.5 Transcribe NVIDIA | 34B 激活 4.3B | 64K | OpenMDW-1.1 (宽松) | 25 GB 游戏显卡 | |
| Nanbeige4.3-33B Nanbeige LLM Lab | 33.1B | 512K | Apache 2.0 (宽松) | 23 GB 游戏显卡 | |
| Nemotron 3.5 Lightning NVIDIA | 31.6B 激活 3B | 1M | OpenMDW-1.1 (宽松) | 22 GB 游戏显卡 | |
| Granite 4.2 IBM | 3.7B – 29.3B | 128K | Apache 2.0 (宽松) | 2.55 GB 笔记本或手机 | |
| Raon-1 mini preview KRAFTON | 28.8B 激活 4.3B | 256K | Apache 2.0 (宽松) | 18 GB 游戏显卡 | |
| Solar Open 2 Upstage | 250B 激活 15B | 1M | Upstage Solar (附条件) | 157 GB 大内存台式机 |