Nemotron 3 Nano 4B
NVIDIA 的 4B 端侧模型,由 Nano 9B v2 压缩而来的 Mamba-Transformer 混合结构,推理可开关,面向 RTX 电脑和 Jetson。
一句话概括. Nemotron 3 Nano 4B 是 NVIDIA 的小型 AI 模型,设计目标是在游戏电脑、Jetson 开发板或 DGX Spark 上运行。它既可以直接回答,也可以一步步思考,支持工具调用,约 8 GB 就能装下。许可证允许商用。
概述
NVIDIA 于 2026 年 3 月 16 日发布 Nemotron 3 Nano 4B。它有约 39.7 亿参数,是用 Nemotron Elastic 框架从 NVIDIA-Nemotron-Nano-9B-v2 压缩而来。架构是 Mamba-2 与 MLP 的混合,只保留四层注意力,长上下文下内存占用低,默认配置允许 262,144 个 token。BF16 检查点约 8 GB,FP8 版本约 5.3 GB,另有约 2.8 GB 的 GGUF 版本,适用于 llama.cpp 类运行时。
模型卡把它定位为边缘设备上的智能体:游戏伙伴、本地语音助手和物联网自动化,运行在 Jetson Thor、GeForce RTX 和 DGX Spark 上。它是一个既能先推理又能直接回答的单一模型,通过聊天模板里的开关控制,支持英语和编程语言。NVIDIA 建议推理时用 temperature 1.0、top-p 0.95,工具调用时 temperature 用 0.6。
模型卡自己的结果包括:关闭推理时 IFEval 提示级 82.8;开启推理时 AIME25 78.5、MATH500 95.4、GPQA 53.2、LiveCodeBench 51.8。这些是 NVIDIA 用 NeMo-Skills 跑出的数字。它采用 NVIDIA Nemotron Open Model License,允许商用。想要更新的 NVIDIA 小模型,可以看 Nemotron 3.5 Bolt E4B。
适合做什么
- 在 RTX 电脑、Jetson 和 DGX Spark 上运行端侧智能体和助手
- 需要快速响应的游戏 NPC 和本地语音助手
- 小体量的工具调用,只在需要时才开启推理
- 为窄任务微调一个小型混合模型
需要注意
- 只支持英语和代码,没有列出其他语言
- 需要 trust_remote_code,用 vLLM 时要 0.15 或更高版本
- 它是小模型,在高难度推理上弱于 30B 及以上的 Nemotron
- 基准数字来自 NVIDIA
性能数据来自开发方,未经独立验证。
需要多少内存?
以下为 Nano 4B (BF16) 版本的估算。混合专家模型虽然每个 token 只用到部分专家,但所有专家都必须装进内存:总参数量决定所需内存,激活参数量决定速度。
| 版本 | 参数量 | BF16 | FP8 / INT8 | 4-bit (Q4) | 可运行于 |
|---|---|---|---|---|---|
| Nano 4B (BF16) BF16 | 3.97B | 9.13 GB | 4.57 GB | 2.74 GB | 笔记本或手机 |
| Nano 4B (FP8) FP8 | 3.97B | 9.13 GB | 4.57 GB | 2.74 GB | 笔记本或手机 |
估算方法:权重大小加约 15% 的运行开销。实际占用会随上下文长度增长,也取决于所用的软件。
许可证,用大白话说
NVIDIA 的宽松许可证,风格接近 Apache。允许商用、制作衍生作品和再分发,NVIDIA 不主张输出内容的所有权,主要义务是随附许可证并保留声明。
延伸阅读
常见问题
- Nemotron 3 Nano 4B 是什么?
- Nemotron 3 Nano 4B 是 NVIDIA 的小型 AI 模型,设计目标是在游戏电脑、Jetson 开发板或 DGX Spark 上运行。它既可以直接回答,也可以一步步思考,支持工具调用,约 8 GB 就能装下。许可证允许商用。
- Nemotron 3 Nano 4B 可以商用吗?
- 可以。Nemotron 3 Nano 4B 采用 NVIDIA Nemotron 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
- Nemotron 3 Nano 4B 是开源的吗?
- Nemotron 3 Nano 4B 是开放权重模型,但不是严格意义上的开源。你可以下载模型文件,但 NVIDIA Nemotron 附带了开源促进会的定义所不允许的条件。
- 我能在自己的电脑上运行 Nemotron 3 Nano 4B 吗?
- 可以。最小版本 Nano 4B (BF16) 在 4 位精度下约需 2.74 GB 内存,现代笔记本或中端显卡即可胜任。
- Nemotron 3 Nano 4B 是什么时候发布的?
- Nemotron 3 Nano 4B 由 NVIDIA 于 2026年3月16日 发布。
- Nemotron 3 Nano 4B 的上下文窗口有多长?
- Nemotron 3 Nano 4B 支持最长 256K token 的上下文窗口。
官方链接
来源
规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。
- Nemotron 3 Nano 4B BF16 model card (Hugging Face) huggingface.co
- Nemotron Elastic: Towards Efficient Many-in-One Reasoning LLMs arxiv.org
- NVIDIA Nemotron 3 family of models (NVIDIA Research) research.nvidia.com
- NVIDIA Nemotron Open Model License nvidia.com
发布时间等信息最近核实于 2026年11月11日。
相关模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| Nemotron 3 NVIDIA | 31.6B – 120B 激活 12B | 1M | NVIDIA Nemotron (宽松) | 21 GB 游戏显卡 | |
| Nemotron 3 Nano Omni NVIDIA | 31B 激活 3B | 256K | NVIDIA Open Model (宽松) | 32 GB 游戏显卡 | |
| Nemotron 3.5 NVIDIA | 8B – 120B 激活 12B | 1M | OpenMDW-1.1 (宽松) | 5.52 GB 笔记本或手机 | |
| Qwen3.5 Alibaba Qwen | 873M – 403B 激活 17B | 256K | Apache 2.0 (宽松) | 0.602 GB 笔记本或手机 |