Nemotron 3.5

NVIDIA 开放的 Nemotron 3.5:120B 的 Super VL、压缩进 24 GB 的 74B Bolt,以及小型 E4B。OpenMDW 许可证。

一句话概括. Nemotron 3.5 是 NVIDIA 用于构建智能体的开放 AI 模型家族。Super VL 是面向服务器的大模型,能读取文字、图像和视频。Bolt 是本地运行的版本:一个压缩到 24 GB 内存的 740 亿参数版本,以及一个用于语音助手的小版本。许可证宽松,允许商用。

概述

NVIDIA 于 2026 年 10 月 15 日发布 Nemotron 3.5 Super VL 和 Nemotron 3.5 Bolt 74B-A9B,10 月 23 日发布 Bolt E4B。三者都采用 OpenMDW-1.1 许可证,模型卡称每个模型都“ready for commercial or non-commercial use”(可用于商业或非商业用途)。

Super VL 是视觉语言混合专家模型,总参数 1200 亿,每个 token 激活 120 亿。它交错使用 Mamba-2 层、注意力层和专家层,配有 C-RADIO 视觉编码器,读取文字、图像和视频,输出文字,支持最长 100 万 token 的上下文。BF16 权重约 249 GB,模型卡用 4 张 H100 部署;NVFP4 版本约 75 GB。NVIDIA 称其吞吐量最高可达同尺寸开放模型的 5 倍,这是自报的说法。

Bolt 74B-A9B 24GB 是本地运行的模型。它总参数 740 亿、激活 90 亿,以 2 位量化训练,使打包后的模型能放进 24 GB,接收文字、图像和视频,支持最长 256K token。NVIDIA 把它定位为 RTX PC 和 DGX Spark 上的日常智能体工作,支持 llama.cpp、Ollama、LM Studio、Unsloth 和 vLLM。另外也发布了约 150 GB 的完整 BF16 版本。

Bolt E4B 是一个小型文本模型,由 NVIDIA 基于谷歌的 Gemma 4 E4B 后训练而来,面向语音和设备助手。它总参数 80 亿(有效约 40 亿),上下文 64K,并有约 4 GB 的量化版本,适合受限设备。

适合做什么

  • 智能体工作流中的文档、截图和视频理解(Super VL)
  • 在 24 GB 显卡或 DGX Spark 级别的机器上本地运行能力不错的智能体(Bolt 74B-A9B 24GB)
  • 内存预算很紧的语音助手和嵌入式界面(Bolt E4B)
  • 想要宽松许可证和开放微调配方的团队

需要注意

  • Super VL 是服务器模型:BF16 为 249 GB,即使 NVFP4 也约 75 GB
  • 24 GB 的 Bolt 为省内存采用 2 位训练,质量会低于完整精度的 74B 版本
  • 随附的部署方案和 NVFP4 文件面向 NVIDIA GPU,在其他硬件上的速度会不同
  • 速度和准确率的说法来自 NVIDIA 自己的测试

性能数据来自开发方,未经独立验证。

需要多少内存?

以下为 Bolt E4B 版本的估算。混合专家模型虽然每个 token 只用到部分专家,但所有专家都必须装进内存:总参数量决定所需内存,激活参数量决定速度。

版本 参数量 BF16 FP8 / INT8 4-bit (Q4) 可运行于
Bolt E4B BF16 8B 激活 4B 18 GB 9.2 GB 5.52 GB 笔记本或手机
Bolt 74B-A9B BF16 74B 激活 9B 170 GB 85 GB 51 GB 工作站
Bolt 74B-A9B 24GB 74B 激活 9B 170 GB 85 GB 24 GB 游戏显卡
Super VL BF16 120B 激活 12B 276 GB 138 GB 83 GB 工作站
Super VL NVFP4 NVFP4 120B 激活 12B 276 GB 138 GB 83 GB 工作站

估算方法:权重大小加约 15% 的运行开销。实际占用会随上下文长度增长,也取决于所用的软件。 开发方给出的最低显存要求为 24 GB。

显存计算器

许可证,用大白话说

由 Linux 基金会和 PyTorch 基金会为机器学习模型撰写的简短宽松许可证。它把模型、数据、文档和软件作为整体一并授权,且不限制你如何使用模型的输出。

进一步了解 OpenMDW-1.1

延伸阅读

常见问题

Nemotron 3.5 是什么?
Nemotron 3.5 是 NVIDIA 用于构建智能体的开放 AI 模型家族。Super VL 是面向服务器的大模型,能读取文字、图像和视频。Bolt 是本地运行的版本:一个压缩到 24 GB 内存的 740 亿参数版本,以及一个用于语音助手的小版本。许可证宽松,允许商用。
Nemotron 3.5 可以商用吗?
可以。Nemotron 3.5 采用 OpenMDW-1.1 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
Nemotron 3.5 是开源的吗?
Nemotron 3.5 是开放权重模型,但不是严格意义上的开源。你可以下载模型文件,但 OpenMDW-1.1 附带了开源促进会的定义所不允许的条件。
我能在自己的电脑上运行 Nemotron 3.5 吗?
可以。最小版本 Bolt E4B 在 4 位精度下约需 5.52 GB 内存,现代笔记本或中端显卡即可胜任。
Nemotron 3.5 是什么时候发布的?
Nemotron 3.5 由 NVIDIA 于 2026年10月15日 发布。
Nemotron 3.5 的上下文窗口有多长?
Nemotron 3.5 支持最长 1M token 的上下文窗口。

官方链接

来源

规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。

发布时间等信息最近核实于 2026年11月8日。

相关模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Gemma 4 Google DeepMind 5.1B – 30.7B 256K Apache 2.0 (宽松) 3.52 GB 笔记本或手机
Nemotron 3.5 Lightning NVIDIA 31.6B 激活 3B 1M OpenMDW-1.1 (宽松) 22 GB 游戏显卡
Nemotron 3 Ultra NVIDIA 550B 激活 55B 1M OpenMDW-1.1 (宽松) 379 GB 大内存台式机
Nemotron 3.5 Transcribe NVIDIA 34B 激活 4.3B 64K OpenMDW-1.1 (宽松) 25 GB 游戏显卡