Nemotron 3.5 Lightning
NVIDIA 为单张 H100 设计的 30B-A3B 混合 MoE:3B 激活、百万上下文、NVFP4 预训练、OpenMDW 许可证;它自己的表格里 Qwen3.6-35B-A3B 分数更高。
一句话概括. Nemotron 3.5 Lightning 是 NVIDIA 的中型模型,每处理一个词只调用 300 亿参数中的 30 亿,所以响应很快。一张 80 GB 显卡就能运行,能读长文档,宽松的许可证允许商用。NVIDIA 自己的表格显示,在多数编程测试上 Qwen3.6-35B-A3B 更强。
概述
NVIDIA 于 2026 年 8 月 11 日发布 Nemotron 3.5 Lightning 30B-A3B,作为 Nemotron 3 Nano 的后继。它是混合专家模型,混合了 Mamba-2、专家层和注意力层,总参数约 300 亿,每个 token 激活 30 亿。它带有多 token 预测层,用 NVFP4 配方在 20 多万亿 token 上预训练,支持最长 100 万 token 的上下文。单张 H100 80 GB 可以在约 256K 上下文下运行;要用满 100 万窗口,需要八张 H100 或 GB200、B200。它支持英语、西班牙语、法语、德语、意大利语和日语,推理模式可以开关。
BF16 权重约 66 GB,用于后训练、研究和自行制作量化版本。要直接部署,NVIDIA 推荐约 22 GB 的 NVFP4 版本,它更快,支持的硬件也更多。NVIDIA 还记录了用于低并发数据中心服务的 DSpark 推测解码。
NVIDIA 的表格把它与 Qwen3.6-35B-A3B、Gemma 4 26B-A4B、Nemotron 3 Nano 和 Super 以及 GPT-OSS-20B 对比。Lightning 在 SWE-bench Verified 上得 51.6,高于 Nemotron 3 Nano 的 34.1,但 Qwen3.6-35B-A3B 是 70.1;Terminal-Bench 2.1 上 Lightning 是 24.6,Qwen 是 44.4。它只在少数项目上领先,例如在 Nemotron 同门中的 IFBench。这些都是 NVIDIA 自己测的,许可证是 OpenMDW-1.1,宽松并允许商用。
适合做什么
- 在单张 80 GB 显卡上做快速的智能体和对话负载
- 用开放配方微调和蒸馏混合 MoE
- 长文档工作:一张 H100 上 256K 上下文,更大配置最长 100 万
- 在 Blackwell 硬件上配合推测解码提供服务
需要注意
- NVIDIA 自己的表格显示,Qwen3.6-35B-A3B 在编程和智能体测试上大幅领先
- BF16 仓库用于定制;部署请用 NVFP4 版本
- 只列出六种支持语言
- 基准数字来自 NVIDIA,可能与其他厂商的报告不同
性能数据来自开发方,未经独立验证。
需要多少内存?
以下为 Lightning 30B-A3B (BF16) 版本的估算。混合专家模型虽然每个 token 只用到部分专家,但所有专家都必须装进内存:总参数量决定所需内存,激活参数量决定速度。
| 版本 | 参数量 | BF16 | FP8 / INT8 | 4-bit (Q4) | 可运行于 |
|---|---|---|---|---|---|
| Lightning 30B-A3B (NVFP4) NVFP4 | 31.6B 激活 3B | 73 GB | 36 GB | 24 GB | 游戏显卡 |
| Lightning 30B-A3B (BF16) BF16 | 31.6B 激活 3B | 73 GB | 36 GB | 22 GB | 游戏显卡 |
估算方法:权重大小加约 15% 的运行开销。实际占用会随上下文长度增长,也取决于所用的软件。
许可证,用大白话说
由 Linux 基金会和 PyTorch 基金会为机器学习模型撰写的简短宽松许可证。它把模型、数据、文档和软件作为整体一并授权,且不限制你如何使用模型的输出。
延伸阅读
常见问题
- Nemotron 3.5 Lightning 是什么?
- Nemotron 3.5 Lightning 是 NVIDIA 的中型模型,每处理一个词只调用 300 亿参数中的 30 亿,所以响应很快。一张 80 GB 显卡就能运行,能读长文档,宽松的许可证允许商用。NVIDIA 自己的表格显示,在多数编程测试上 Qwen3.6-35B-A3B 更强。
- Nemotron 3.5 Lightning 可以商用吗?
- 可以。Nemotron 3.5 Lightning 采用 OpenMDW-1.1 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
- Nemotron 3.5 Lightning 是开源的吗?
- Nemotron 3.5 Lightning 是开放权重模型,但不是严格意义上的开源。你可以下载模型文件,但 OpenMDW-1.1 附带了开源促进会的定义所不允许的条件。
- 我能在自己的电脑上运行 Nemotron 3.5 Lightning 吗?
- 可以,但需要一块好显卡。最小版本 Lightning 30B-A3B (BF16) 在 4 位精度下约需 22 GB 内存,适合 24 至 32 GB 的游戏显卡,或 32 GB 及以上内存的 Mac。
- Nemotron 3.5 Lightning 是什么时候发布的?
- Nemotron 3.5 Lightning 由 NVIDIA 于 2026年8月11日 发布。
- Nemotron 3.5 Lightning 的上下文窗口有多长?
- Nemotron 3.5 Lightning 支持最长 1M token 的上下文窗口。
官方链接
来源
规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。
- Nemotron 3.5 Lightning 30B-A3B BF16 model card (Hugging Face) huggingface.co
- Nemotron 3.5 Lightning 30B-A3B NVFP4 model card (Hugging Face) huggingface.co
- OpenMDW License Agreement, version 1.1 raw.githubusercontent.com
发布时间等信息最近核实于 2026年11月11日。
相关模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| Nemotron 3 NVIDIA | 31.6B – 120B 激活 12B | 1M | NVIDIA Nemotron (宽松) | 21 GB 游戏显卡 | |
| Nemotron 3.5 NVIDIA | 8B – 120B 激活 12B | 1M | OpenMDW-1.1 (宽松) | 5.52 GB 笔记本或手机 | |
| Qwen3.6 Alibaba Qwen | 27.8B – 36B 激活 3B | 256K | Apache 2.0 (宽松) | 19 GB 游戏显卡 | |
| Gemma 4 Google DeepMind | 5.1B – 30.7B | 256K | Apache 2.0 (宽松) | 3.52 GB 笔记本或手机 |