Nemotron 3.5 Transcribe
NVIDIA 开放的语音转文字模型:40 种语言、说话人标注、翻译,以及可用提示词控制的转写风格。
一句话概括. Nemotron 3.5 Transcribe 把录音转成文字。与旧的语音识别工具不同,你可以用日常语言告诉它想要什么风格的转写:逐字还是整理后的文本、带不带说话人、是否翻译。它处理的是最长一小时的完整录音,不适用于实时音频流。
概述
NVIDIA 于 2026 年 10 月 28 日以 OpenMDW-1.1 许可证发布了 Nemotron 3.5 Transcribe,同时发布了 NeMo Speech 中的微调工具包和第 2 版 Granary 语音数据集。
它是一个语音增强语言模型:Transformer 语音编码器和说话人分离(谁在什么时候说话)模型,连接到一个混合专家语言模型。模型卡列出总参数约 340 亿,激活 43 亿(含音频编码器)。同一个模型可完成转写、语音翻译、带说话人标注的转写、语种识别和音频问答,并可返回词级时间戳。它支持 40 种语言,其中 31 种可与英语互译,13 种支持说话人标注,可处理最长一小时、最多八位说话人的录音。
转写风格由一条文字指令设定,例如数字用逐字形式还是书面形式,或提供一份预期的人名和术语列表。该模型处理的是事后的录音,不是实时流式识别器。NVIDIA 称它在英语 Open ASR Leaderboard 上的平均词错误率为 4.71%,在多语言榜单上为 4.62%;这是开发方在其研究页面上公布的自测结果。
BF16 权重约 68 GB,FP8 约 35 GB,NVFP4 约 22 GB。模型卡把单张 H100 80 GB 列为部署目标,并为 NVIDIA 的 NeMo-Speech.cpp 提供 GGUF 文件。
适合做什么
- 需要说话人标注的会议、通话和访谈转写
- 多语言转写,以及与英语的互译
- 医疗、法律或技术转写,可以提供预期的术语
- 想用开放工具包在自己音频上微调语音模型的团队
需要注意
- 只支持离线:处理的是完整录音,不是实时音频流
- 对语音模型来说体积偏大,BF16 权重为 68 GB;NVFP4 版本约 22 GB
- 翻译覆盖 40 种语言中的 31 种,说话人标注只有 13 种
- 错误率是 NVIDIA 自己的结果;依赖前请先用自己的音频测试
性能数据来自开发方,未经独立验证。
需要多少内存?
以下是 Nemotron 3.5 Transcribe 各版本的内存数据。图像、视频、语音和音乐管线还要加载文本编码器和解码器,所以所需内存可能比主检查点更大。
| 版本 | 参数量 | 下载大小 | 所需内存 | 可运行于 |
|---|---|---|---|---|
| BF16 BF16 | 34B 激活 4.3B | 68 GB | 78 GB | 工作站 |
| FP8 FP8 | 34B 激活 4.3B | 35 GB | 40 GB | 工作站 |
| NVFP4 NVFP4 | 34B 激活 4.3B | 22 GB | 25 GB | 游戏显卡 |
下载大小包含运行模型所需的全部组件,例如生成器、文本编码器和解码器。所需内存优先采用开发方声明或已公开的实测最低值;没有时按下载大小加约 15% 估算。更大的图像、更长的片段和更高的分辨率需要更多内存。
许可证,用大白话说
由 Linux 基金会和 PyTorch 基金会为机器学习模型撰写的简短宽松许可证。它把模型、数据、文档和软件作为整体一并授权,且不限制你如何使用模型的输出。
延伸阅读
- Whisper large-v3-turbo 与 Nemotron 3.5 Transcribe 对比
- 最佳开源语音模型:语音转文字与文字转语音
- 2026 年最佳开源语音识别(语音转文字)模型
- 2026 年最佳开源翻译模型
- 开放语音模型:转写很开放,文字转语音则参差不齐
- 超大开源模型开始直接以 4 位发布:对内存规划意味着什么
- NVIDIA 发布 Nemotron 3.5 Transcribe:用提示词控制的语音识别模型
常见问题
- Nemotron 3.5 Transcribe 是什么?
- Nemotron 3.5 Transcribe 把录音转成文字。与旧的语音识别工具不同,你可以用日常语言告诉它想要什么风格的转写:逐字还是整理后的文本、带不带说话人、是否翻译。它处理的是最长一小时的完整录音,不适用于实时音频流。
- Nemotron 3.5 Transcribe 可以商用吗?
- 可以。Nemotron 3.5 Transcribe 采用 OpenMDW-1.1 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
- Nemotron 3.5 Transcribe 是开源的吗?
- Nemotron 3.5 Transcribe 是开放权重模型,但不是严格意义上的开源。你可以下载模型文件,但 OpenMDW-1.1 附带了开源促进会的定义所不允许的条件。
- 我能在自己的电脑上运行 Nemotron 3.5 Transcribe 吗?
- 可以,但需要一块好显卡。最小版本 NVFP4 在 4 位精度下约需 25 GB 内存,适合 24 至 32 GB 的游戏显卡,或 32 GB 及以上内存的 Mac。
- Nemotron 3.5 Transcribe 是什么时候发布的?
- Nemotron 3.5 Transcribe 由 NVIDIA 于 2026年10月28日 发布。
- Nemotron 3.5 Transcribe 的上下文窗口有多长?
- Nemotron 3.5 Transcribe 支持最长 64K token 的上下文窗口。
官方链接
来源
规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。
- NVIDIA Research: Nemotron 3.5 Transcribe (28 Oct 2026) research.nvidia.com
- Nemotron 3.5 Transcribe model card (Hugging Face) huggingface.co
- Hugging Face blog: Nemotron 3.5 Transcribe and Granary v2 huggingface.co
发布时间等信息最近核实于 2026年11月8日。
相关模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| Nemotron 3.5 ASR NVIDIA | 638M | – | OpenMDW-1.1 (宽松) | 2.93 GB 笔记本或手机 | |
| Parakeet TDT 0.6B v3 NVIDIA | 627M | – | CC BY 4.0 (宽松) | 2.89 GB 笔记本或手机 | |
| Whisper large-v3-turbo OpenAI | 810M – 1.54B | – | MIT (宽松) | 6 GB 笔记本或手机 | |
| Granite Speech 5.0 IBM | 470M – 2.31B | – | Apache 2.0 (宽松) | 1.09 GB 笔记本或手机 |