Nemotron 3.5
NVIDIA 开放的 Nemotron 3.5:120B 的 Super VL、压缩进 24 GB 的 74B Bolt,以及小型 E4B。OpenMDW 许可证。
一句话概括. Nemotron 3.5 是 NVIDIA 用于构建智能体的开放 AI 模型家族。Super VL 是面向服务器的大模型,能读取文字、图像和视频。Bolt 是本地运行的版本:一个压缩到 24 GB 内存的 740 亿参数版本,以及一个用于语音助手的小版本。许可证宽松,允许商用。
概述
NVIDIA 于 2026 年 10 月 15 日发布 Nemotron 3.5 Super VL 和 Nemotron 3.5 Bolt 74B-A9B,10 月 23 日发布 Bolt E4B。三者都采用 OpenMDW-1.1 许可证,模型卡称每个模型都“ready for commercial or non-commercial use”(可用于商业或非商业用途)。
Super VL 是视觉语言混合专家模型,总参数 1200 亿,每个 token 激活 120 亿。它交错使用 Mamba-2 层、注意力层和专家层,配有 C-RADIO 视觉编码器,读取文字、图像和视频,输出文字,支持最长 100 万 token 的上下文。BF16 权重约 249 GB,模型卡用 4 张 H100 部署;NVFP4 版本约 75 GB。NVIDIA 称其吞吐量最高可达同尺寸开放模型的 5 倍,这是自报的说法。
Bolt 74B-A9B 24GB 是本地运行的模型。它总参数 740 亿、激活 90 亿,以 2 位量化训练,使打包后的模型能放进 24 GB,接收文字、图像和视频,支持最长 256K token。NVIDIA 把它定位为 RTX PC 和 DGX Spark 上的日常智能体工作,支持 llama.cpp、Ollama、LM Studio、Unsloth 和 vLLM。另外也发布了约 150 GB 的完整 BF16 版本。
Bolt E4B 是一个小型文本模型,由 NVIDIA 基于谷歌的 Gemma 4 E4B 后训练而来,面向语音和设备助手。它总参数 80 亿(有效约 40 亿),上下文 64K,并有约 4 GB 的量化版本,适合受限设备。
适合做什么
- 智能体工作流中的文档、截图和视频理解(Super VL)
- 在 24 GB 显卡或 DGX Spark 级别的机器上本地运行能力不错的智能体(Bolt 74B-A9B 24GB)
- 内存预算很紧的语音助手和嵌入式界面(Bolt E4B)
- 想要宽松许可证和开放微调配方的团队
需要注意
- Super VL 是服务器模型:BF16 为 249 GB,即使 NVFP4 也约 75 GB
- 24 GB 的 Bolt 为省内存采用 2 位训练,质量会低于完整精度的 74B 版本
- 随附的部署方案和 NVFP4 文件面向 NVIDIA GPU,在其他硬件上的速度会不同
- 速度和准确率的说法来自 NVIDIA 自己的测试
性能数据来自开发方,未经独立验证。
需要多少内存?
以下为 Bolt E4B 版本的估算。混合专家模型虽然每个 token 只用到部分专家,但所有专家都必须装进内存:总参数量决定所需内存,激活参数量决定速度。
| 版本 | 参数量 | BF16 | FP8 / INT8 | 4-bit (Q4) | 可运行于 |
|---|---|---|---|---|---|
| Bolt E4B BF16 | 8B 激活 4B | 18 GB | 9.2 GB | 5.52 GB | 笔记本或手机 |
| Bolt 74B-A9B BF16 | 74B 激活 9B | 170 GB | 85 GB | 51 GB | 工作站 |
| Bolt 74B-A9B 24GB | 74B 激活 9B | 170 GB | 85 GB | 24 GB | 游戏显卡 |
| Super VL BF16 | 120B 激活 12B | 276 GB | 138 GB | 83 GB | 工作站 |
| Super VL NVFP4 NVFP4 | 120B 激活 12B | 276 GB | 138 GB | 83 GB | 工作站 |
估算方法:权重大小加约 15% 的运行开销。实际占用会随上下文长度增长,也取决于所用的软件。 开发方给出的最低显存要求为 24 GB。
许可证,用大白话说
由 Linux 基金会和 PyTorch 基金会为机器学习模型撰写的简短宽松许可证。它把模型、数据、文档和软件作为整体一并授权,且不限制你如何使用模型的输出。
延伸阅读
常见问题
- Nemotron 3.5 是什么?
- Nemotron 3.5 是 NVIDIA 用于构建智能体的开放 AI 模型家族。Super VL 是面向服务器的大模型,能读取文字、图像和视频。Bolt 是本地运行的版本:一个压缩到 24 GB 内存的 740 亿参数版本,以及一个用于语音助手的小版本。许可证宽松,允许商用。
- Nemotron 3.5 可以商用吗?
- 可以。Nemotron 3.5 采用 OpenMDW-1.1 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
- Nemotron 3.5 是开源的吗?
- Nemotron 3.5 是开放权重模型,但不是严格意义上的开源。你可以下载模型文件,但 OpenMDW-1.1 附带了开源促进会的定义所不允许的条件。
- 我能在自己的电脑上运行 Nemotron 3.5 吗?
- 可以。最小版本 Bolt E4B 在 4 位精度下约需 5.52 GB 内存,现代笔记本或中端显卡即可胜任。
- Nemotron 3.5 是什么时候发布的?
- Nemotron 3.5 由 NVIDIA 于 2026年10月15日 发布。
- Nemotron 3.5 的上下文窗口有多长?
- Nemotron 3.5 支持最长 1M token 的上下文窗口。
官方链接
来源
规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。
- NVIDIA blog: Nemotron 3.5 Super VL and Bolt (15 Oct 2026) blogs.nvidia.com
- Nemotron 3.5 Super VL BF16 model card (Hugging Face) huggingface.co
- Nemotron 3.5 Bolt 74B-A9B 24GB model card (Hugging Face) huggingface.co
- NVIDIA Research: Nemotron 3.5 Bolt E4B 4GB (23 Oct 2026) research.nvidia.com
发布时间等信息最近核实于 2026年11月8日。
相关模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| Gemma 4 Google DeepMind | 5.1B – 30.7B | 256K | Apache 2.0 (宽松) | 3.52 GB 笔记本或手机 | |
| Nemotron 3.5 Lightning NVIDIA | 31.6B 激活 3B | 1M | OpenMDW-1.1 (宽松) | 22 GB 游戏显卡 | |
| Nemotron 3 Ultra NVIDIA | 550B 激活 55B | 1M | OpenMDW-1.1 (宽松) | 379 GB 大内存台式机 | |
| Nemotron 3.5 Transcribe NVIDIA | 34B 激活 4.3B | 64K | OpenMDW-1.1 (宽松) | 25 GB 游戏显卡 |