Nemotron 3 Nano Omni

NVIDIA 的 31B 混合专家模型,激活 3B,能读视频、音频、图像和文本,上下文 256K,采用允许商用的开放协议。

一句话概括. Nemotron 3 Nano Omni 能看带声音的视频、听音频、看图像、读文字,并用文字作答。它每个 token 只激活 31B 参数中的约 3B,所以运行成本比它的体量显得低,并且默认开启思考模式。

概述

Nemotron 3 Nano Omni 是 NVIDIA 的多模态推理模型,输入视频、音频、图像和文本,用文本作答。它把 Nemotron 3 Nano 骨干(31B 的 Mamba2-Transformer 混合专家模型,每个 token 约激活 3B 参数)与 C-RADIOv4-H 视觉编码器和 Parakeet 语音编码器组合在一起,检查点共 33.0B 参数。模型卡给出的上下文为 256K 个 token,只支持英语,最长 2 分钟的 mp4 视频和最长 1 小时的 wav 或 mp3 音频,推理默认开启,用 enable_thinking 切换。NVIDIA 的定位是视频和语音分析、文档智能、GUI 和智能体工作流以及转写,它支持工具调用、JSON 输出和词级时间戳。

NVIDIA 自己的表格把它与 Nemotron Nano VL V2 对比:OCRBench v2(英语)67.04 对 54.8,OSWorld 47.4 对 11.1,Charxiv 推理 63.6 对 41.3,MMLongBench-Doc 57.5 对 38,CVBench2D 83.95 对 78.3,MathVista-mini 82.8 对 75.5。它还列出了 Video-MME 72.2、WorldSense 55.4、Daily Omni 74.52 和语音交互 89.39,但没有对比项。按 NVIDIA 的测量,在非推理模式下,FP8 和 NVFP4 版本在 9 个非语音基准的平均分上与 BF16 相差约 0.4 分以内。NVIDIA 称该模型使用了 Qwen3-VL-30B-A3B-Instruct、Qwen3.5-122B-A10B、Qwen3.5-397B-A17B、Qwen2.5-VL-72B-Instruct 和 gpt-oss-120b 来改进。

权重提供 BF16(66 GB)、FP8(35 GB)和 NVFP4(22 GB)三种,NVIDIA 列出的最低 GPU 是:BF16 用一块 80 GB 的 H100,FP8 用一块 48 GB 的 L40S,NVFP4 用一块 32 GB 的 RTX 5090。模型卡要求 vLLM 0.20.0,用到音频时需要安装音频扩展,还列出了 SGLang(BF16)、TensorRT-LLM、llama.cpp、Ollama 和 Jetson Thor。目标系统是 Linux,接口不接受原始 PDF,所以要先把页面渲染成 PNG。许可证是 NVIDIA Open Model Agreement,允许商用。截至 2026 年 11 月 11 日的 30 天内,Hugging Face 统计 BF16 仓库约有 11.6 万次下载,FP8 约 9.1 万次,NVFP4 约 5 万次。

适合做什么

  • 分析需要同时理解画面和语音的会议、讲座和培训视频
  • 在允许商用的许可证下做文档、图表和截图问答以及 OCR
  • 操作电脑屏幕的智能体,因为 NVIDIA 报告 OSWorld 为 47.4
  • 单 GPU 部署,用 NVFP4 版本最低到一块 RTX 5090

需要注意

  • 只支持英语,视频最长 2 分钟,音频最长 1 小时,输出是文本,不是语音或图像
  • 推理默认开启,所以除非关闭思考,输出里会出现思维链,vLLM 在不设置帧参数时只采样约 32 帧视频
  • 基准表是 NVIDIA 自己的,对比的是它自己更早的模型,所以请在你的数据上与 Gemma 4 或 Qwen 比较
  • 它需要 vLLM 0.20.0 或列出的替代方案、自定义代码和 Linux,PDF 需要你自己渲染成页面图像

性能数据来自开发方,未经独立验证。

需要多少内存?

以下为 Nano Omni 30B-A3B (NVFP4) 版本的估算。混合专家模型虽然每个 token 只用到部分专家,但所有专家都必须装进内存:总参数量决定所需内存,激活参数量决定速度。

版本 参数量 BF16 FP8 / INT8 4-bit (Q4) 可运行于
Nano Omni 30B-A3B (BF16) BF16 31B 激活 3B 71 GB 36 GB 80 GB 工作站
Nano Omni 30B-A3B (FP8) FP8 31B 激活 3B 71 GB 36 GB 48 GB 工作站
Nano Omni 30B-A3B (NVFP4) NVFP4 31B 激活 3B 71 GB 36 GB 32 GB 游戏显卡

估算方法:权重大小加约 15% 的运行开销。实际占用会随上下文长度增长,也取决于所用的软件。 开发方给出的最低显存要求为 32 GB。

显存计算器

许可证,用大白话说

NVIDIA 的宽松协议,风格接近 Apache,2026 年 4 月 2 日发布。NVIDIA 确认其作品可以商用,你可以制作和分发衍生作品,NVIDIA 不主张输出内容的所有权。主要义务是随附协议并保留声明。

进一步了解 NVIDIA Open Model

延伸阅读

常见问题

Nemotron 3 Nano Omni 是什么?
Nemotron 3 Nano Omni 能看带声音的视频、听音频、看图像、读文字,并用文字作答。它每个 token 只激活 31B 参数中的约 3B,所以运行成本比它的体量显得低,并且默认开启思考模式。
Nemotron 3 Nano Omni 可以商用吗?
可以。Nemotron 3 Nano Omni 采用 NVIDIA Open Model 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
Nemotron 3 Nano Omni 是开源的吗?
Nemotron 3 Nano Omni 是开放权重模型,但不是严格意义上的开源。你可以下载模型文件,但 NVIDIA Open Model 附带了开源促进会的定义所不允许的条件。
我能在自己的电脑上运行 Nemotron 3 Nano Omni 吗?
可以,但需要一块好显卡。最小版本 Nano Omni 30B-A3B (NVFP4) 在 4 位精度下约需 32 GB 内存,适合 24 至 32 GB 的游戏显卡,或 32 GB 及以上内存的 Mac。
Nemotron 3 Nano Omni 是什么时候发布的?
Nemotron 3 Nano Omni 由 NVIDIA 于 2026年4月28日 发布。
Nemotron 3 Nano Omni 的上下文窗口有多长?
Nemotron 3 Nano Omni 支持最长 256K token 的上下文窗口。

官方链接

来源

规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。

发布时间等信息最近核实于 2026年11月11日。

相关模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Nemotron 3 NVIDIA 31.6B – 120B 激活 12B 1M NVIDIA Nemotron (宽松) 21 GB 游戏显卡
Gemma 4 Google DeepMind 5.1B – 30.7B 256K Apache 2.0 (宽松) 3.52 GB 笔记本或手机
Qwen3.6 Alibaba Qwen 27.8B – 36B 激活 3B 256K Apache 2.0 (宽松) 19 GB 游戏显卡
Mage-VL Microsoft 4.74B 256K Apache 2.0 (宽松) 3.27 GB 笔记本或手机