Nemotron 3 Nano 4B

NVIDIA 的 4B 端侧模型,由 Nano 9B v2 压缩而来的 Mamba-Transformer 混合结构,推理可开关,面向 RTX 电脑和 Jetson。

一句话概括. Nemotron 3 Nano 4B 是 NVIDIA 的小型 AI 模型,设计目标是在游戏电脑、Jetson 开发板或 DGX Spark 上运行。它既可以直接回答,也可以一步步思考,支持工具调用,约 8 GB 就能装下。许可证允许商用。

概述

NVIDIA 于 2026 年 3 月 16 日发布 Nemotron 3 Nano 4B。它有约 39.7 亿参数,是用 Nemotron Elastic 框架从 NVIDIA-Nemotron-Nano-9B-v2 压缩而来。架构是 Mamba-2 与 MLP 的混合,只保留四层注意力,长上下文下内存占用低,默认配置允许 262,144 个 token。BF16 检查点约 8 GB,FP8 版本约 5.3 GB,另有约 2.8 GB 的 GGUF 版本,适用于 llama.cpp 类运行时。

模型卡把它定位为边缘设备上的智能体:游戏伙伴、本地语音助手和物联网自动化,运行在 Jetson Thor、GeForce RTX 和 DGX Spark 上。它是一个既能先推理又能直接回答的单一模型,通过聊天模板里的开关控制,支持英语和编程语言。NVIDIA 建议推理时用 temperature 1.0、top-p 0.95,工具调用时 temperature 用 0.6。

模型卡自己的结果包括:关闭推理时 IFEval 提示级 82.8;开启推理时 AIME25 78.5、MATH500 95.4、GPQA 53.2、LiveCodeBench 51.8。这些是 NVIDIA 用 NeMo-Skills 跑出的数字。它采用 NVIDIA Nemotron Open Model License,允许商用。想要更新的 NVIDIA 小模型,可以看 Nemotron 3.5 Bolt E4B。

适合做什么

  • 在 RTX 电脑、Jetson 和 DGX Spark 上运行端侧智能体和助手
  • 需要快速响应的游戏 NPC 和本地语音助手
  • 小体量的工具调用,只在需要时才开启推理
  • 为窄任务微调一个小型混合模型

需要注意

  • 只支持英语和代码,没有列出其他语言
  • 需要 trust_remote_code,用 vLLM 时要 0.15 或更高版本
  • 它是小模型,在高难度推理上弱于 30B 及以上的 Nemotron
  • 基准数字来自 NVIDIA

性能数据来自开发方,未经独立验证。

需要多少内存?

以下为 Nano 4B (BF16) 版本的估算。混合专家模型虽然每个 token 只用到部分专家,但所有专家都必须装进内存:总参数量决定所需内存,激活参数量决定速度。

版本 参数量 BF16 FP8 / INT8 4-bit (Q4) 可运行于
Nano 4B (BF16) BF16 3.97B 9.13 GB 4.57 GB 2.74 GB 笔记本或手机
Nano 4B (FP8) FP8 3.97B 9.13 GB 4.57 GB 2.74 GB 笔记本或手机

估算方法:权重大小加约 15% 的运行开销。实际占用会随上下文长度增长,也取决于所用的软件。

显存计算器

许可证,用大白话说

NVIDIA 的宽松许可证,风格接近 Apache。允许商用、制作衍生作品和再分发,NVIDIA 不主张输出内容的所有权,主要义务是随附许可证并保留声明。

进一步了解 NVIDIA Nemotron

延伸阅读

常见问题

Nemotron 3 Nano 4B 是什么?
Nemotron 3 Nano 4B 是 NVIDIA 的小型 AI 模型,设计目标是在游戏电脑、Jetson 开发板或 DGX Spark 上运行。它既可以直接回答,也可以一步步思考,支持工具调用,约 8 GB 就能装下。许可证允许商用。
Nemotron 3 Nano 4B 可以商用吗?
可以。Nemotron 3 Nano 4B 采用 NVIDIA Nemotron 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
Nemotron 3 Nano 4B 是开源的吗?
Nemotron 3 Nano 4B 是开放权重模型,但不是严格意义上的开源。你可以下载模型文件,但 NVIDIA Nemotron 附带了开源促进会的定义所不允许的条件。
我能在自己的电脑上运行 Nemotron 3 Nano 4B 吗?
可以。最小版本 Nano 4B (BF16) 在 4 位精度下约需 2.74 GB 内存,现代笔记本或中端显卡即可胜任。
Nemotron 3 Nano 4B 是什么时候发布的?
Nemotron 3 Nano 4B 由 NVIDIA 于 2026年3月16日 发布。
Nemotron 3 Nano 4B 的上下文窗口有多长?
Nemotron 3 Nano 4B 支持最长 256K token 的上下文窗口。

官方链接

来源

规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。

发布时间等信息最近核实于 2026年11月11日。

相关模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Nemotron 3 NVIDIA 31.6B – 120B 激活 12B 1M NVIDIA Nemotron (宽松) 21 GB 游戏显卡
Nemotron 3 Nano Omni NVIDIA 31B 激活 3B 256K NVIDIA Open Model (宽松) 32 GB 游戏显卡
Nemotron 3.5 NVIDIA 8B – 120B 激活 12B 1M OpenMDW-1.1 (宽松) 5.52 GB 笔记本或手机
Qwen3.5 Alibaba Qwen 873M – 403B 激活 17B 256K Apache 2.0 (宽松) 0.602 GB 笔记本或手机