Nemotron 3 Ultra
NVIDIA 最大的开放模型:5500 亿参数 Mamba-Transformer 混合 MoE,550 亿激活,百万上下文,NVFP4 训练,OpenMDW 许可证。
一句话概括. Nemotron 3 Ultra 是 NVIDIA 发布过的最大开放模型,面向高难度推理和长链条智能体任务,可读取最长 100 万 token,支持十种语言。它需要 8 到 16 张顶级 GPU 的服务器,但许可证宽松,允许商用。
概述
NVIDIA 于 2026 年 6 月 4 日发布 Nemotron 3 Ultra,是 Nemotron 3 家族中最大的模型。它有 5500 亿参数,每个 token 激活 550 亿。架构交错使用 Mamba-2 状态空间层、混合专家层和少量注意力层,采用 LatentMoE(把 token 投影到更小的潜空间中做专家路由)和用于加快生成的多 token 预测层。它用 NVFP4 配方在约 20 万亿 token 上预训练,大部分线性层的权重、激活和梯度都使用 4 位浮点。上下文窗口最长 100 万 token,支持英语、法语、西班牙语、意大利语、德语、日语、印地语、韩语、葡萄牙语和中文。
NVIDIA 的表格把 Ultra 与 MiniMax M2.7、GLM-5.1、Kimi K2.6、Qwen3.5 和 DeepSeek V4 系列对比,结果互有胜负:Ultra 在 100 万 token 的 RULER 上得 94.7,在该项领先;但在 SWE-Bench Verified 上是 70.7,低于 Kimi K2.6 的 75.7 和 GLM-5.1 的 76.2;在 Terminal Bench 2.1 上是 56.4,低于 Kimi 的 67.2。这些都是 NVIDIA 自己的结果,请把模型卡的数字当作参考,并在你自己的任务上测试。
BF16 检查点约 1.1 TB,NVFP4 版本约 352 GB。模型卡给出的最低配置是 8 张 Blackwell GPU(B200、GB200、B300 或 GB300)、8 张 H200 或 16 张 H100。与使用 NVIDIA Nemotron Open Model License 的 Nemotron 3 Nano 和 Super 不同,Ultra 采用 OpenMDW-1.1,这是一个涵盖模型、数据和权重的宽松许可证,允许商用和非商用。
适合做什么
- 在自己的服务器上做前沿级智能体、编程和长文档工作
- 十种语言的多语言推理
- 想在超大模型上用宽松许可证的组织
- 大规模 NVFP4 预训练和 LatentMoE 的研究
需要注意
- 即使是 NVFP4(约 352 GB)也需要 8 到 16 张数据中心 GPU
- 在编程和终端基准上,NVIDIA 自己的表格显示它落后于 GLM-5.1 和 Kimi K2.6
- 它是纯文本;需要图像和视频请用 Nemotron 3.5 Super VL
- 基准数字来自 NVIDIA
性能数据来自开发方,未经独立验证。
需要多少内存?
以下为 Ultra 550B-A55B (BF16) 版本的估算。混合专家模型虽然每个 token 只用到部分专家,但所有专家都必须装进内存:总参数量决定所需内存,激活参数量决定速度。
| 版本 | 参数量 | BF16 | FP8 / INT8 | 4-bit (Q4) | 可运行于 |
|---|---|---|---|---|---|
| Ultra 550B-A55B (BF16) BF16 | 550B 激活 55B | 1.26 TB | 633 GB | 379 GB | 大内存台式机 |
| Ultra 550B-A55B (NVFP4) NVFP4 | 550B 激活 55B | 1.26 TB | 633 GB | 387 GB | 大内存台式机 |
估算方法:权重大小加约 15% 的运行开销。实际占用会随上下文长度增长,也取决于所用的软件。
许可证,用大白话说
由 Linux 基金会和 PyTorch 基金会为机器学习模型撰写的简短宽松许可证。它把模型、数据、文档和软件作为整体一并授权,且不限制你如何使用模型的输出。
延伸阅读
常见问题
- Nemotron 3 Ultra 是什么?
- Nemotron 3 Ultra 是 NVIDIA 发布过的最大开放模型,面向高难度推理和长链条智能体任务,可读取最长 100 万 token,支持十种语言。它需要 8 到 16 张顶级 GPU 的服务器,但许可证宽松,允许商用。
- Nemotron 3 Ultra 可以商用吗?
- 可以。Nemotron 3 Ultra 采用 OpenMDW-1.1 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
- Nemotron 3 Ultra 是开源的吗?
- Nemotron 3 Ultra 是开放权重模型,但不是严格意义上的开源。你可以下载模型文件,但 OpenMDW-1.1 附带了开源促进会的定义所不允许的条件。
- 我能在自己的电脑上运行 Nemotron 3 Ultra 吗?
- 只有大内存机器才行。最小版本 Ultra 550B-A55B (BF16) 在 4 位精度下约需 379 GB。配备 128 至 512 GB 统一内存的台式机可以装下,但速度一般。
- Nemotron 3 Ultra 是什么时候发布的?
- Nemotron 3 Ultra 由 NVIDIA 于 2026年6月4日 发布。
- Nemotron 3 Ultra 的上下文窗口有多长?
- Nemotron 3 Ultra 支持最长 1M token 的上下文窗口。
官方链接
来源
规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。
- Nemotron 3 Ultra 550B-A55B BF16 model card (Hugging Face) huggingface.co
- NVIDIA Nemotron 3 family of models (NVIDIA Research) research.nvidia.com
- NVIDIA Nemotron 3 Ultra Technical Report research.nvidia.com
- OpenMDW License Agreement, version 1.1 raw.githubusercontent.com
发布时间等信息最近核实于 2026年11月11日。
相关模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| Nemotron 3 NVIDIA | 31.6B – 120B 激活 12B | 1M | NVIDIA Nemotron (宽松) | 21 GB 游戏显卡 | |
| Nemotron 3.5 NVIDIA | 8B – 120B 激活 12B | 1M | OpenMDW-1.1 (宽松) | 5.52 GB 笔记本或手机 | |
| DeepSeek V4 DeepSeek | 284B – 1.6T 激活 49B | 1M | MIT (宽松) | 176 GB 大内存台式机 | |
| GLM-5.2 Z.ai (Zhipu AI) | 753B 激活 40B | 1M | MIT (宽松) | 520 GB GPU 服务器 |