Moonshot 发布 Kimi K3.1 Pro:2.8 万亿参数的开放权重模型
Moonshot AI 于 2026 年 11 月 2 日发布 Kimi K3.1 Pro:2.8T 混合专家模型,面向长时间编程和办公任务,上下文 100 万 token,4 位权重约 1.56 TB。
Moonshot AI 于 2026 年 11 月 2 日发布了 Kimi K3.1 Pro 的权重。它是 K3.1 系列的首个模型,也是 7 月 27 日发布的 Kimi K3 的后续版本。Moonshot 称它是自家 3 万亿参数级别中能力最强的开放权重模型。
有什么新内容
- 后训练。 K3.1 Pro 在 K3 的基础上,通过覆盖数百个下游领域的大规模强化学习进行后训练。
- 规模。 这是一个混合专家模型,总参数约 2.8 万亿,每个 token 激活约 1040 亿:从 896 个路由专家中选 16 个,再加 2 个共享专家。
- 注意力。 大多数层采用 Kimi Delta Attention,一种线性注意力设计。与 K3 相比,Moonshot 把全注意力层换成了 Gated DeepSeek Sparse Attention,让超长输入的处理成本更低。
- 输入。 它接受文本和图像,输出文本,上下文窗口为 1,048,576 个 token。
- 权重。 以 MXFP4 格式发布,这是一种 4 位格式,Moonshot 称模型从一开始就是用它训练的,所以 1.56 TB 的下载本身已经是紧凑的版本。
Moonshot 称它在编程、3D 创作、金融研究和事实准确性方面相比 K3 有提升。这些数字来自 Moonshot 自己的模型卡和测试框架,尚未得到独立复现。
为什么重要
Kimi K3.1 Pro 是目前可下载的最大的权重之一,Moonshot 为长时间的编程和办公任务打造了它。它不是本地模型:据我们估算,它需要约 1.7 TB 内存,属于多机集群档位,所以大多数人会通过 Moonshot 的 API 使用它。已经运行大型 GPU 集群的团队可以自行托管。想了解另一个前沿规模的选择,请看我们的 与 Qwen3.8-Max 的对比。
许可证
K3.1 Pro 沿用 Kimi K3 License 的条款。它是 MIT 风格的许可证:大多数公司无需征得同意就可以商用。出售该模型托管访问的业务,在任意 12 个月内综合营收超过 2000 万美元后,需要另行签订协议;月活跃用户超过 1 亿、或月营收超过 2000 万美元的超大型商业产品,必须在界面中显著位置展示“Kimi K3”。
来源
- Kimi-K3.1-Pro model card (Hugging Face) huggingface.co
- Kimi K3.1 Pro quickstart (Kimi API platform) platform.kimi.ai
- Kimi K3 License huggingface.co
本文涉及的模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| Kimi K3.1 Pro Moonshot AI | 2.8T 激活 104B | 1M | Kimi K3 License (附条件) | 1.72 TB 多机集群 | |
| Kimi K3 Moonshot AI | 2.8T 激活 104B | 1M | Kimi K3 License (附条件) | 1.72 TB 多机集群 |