NVIDIA 发布 Nemotron 3.5 Transcribe:用提示词控制的语音识别模型
NVIDIA 于 2026 年 10 月 28 日以 OpenMDW-1.1 发布 Nemotron 3.5 Transcribe:支持 40 种语言、说话人标注、翻译和由提示词控制的转写风格,适用于最长一小时的录音。
NVIDIA 于 2026 年 10 月 28 日以宽松的 OpenMDW-1.1 许可证发布了 Nemotron 3.5 Transcribe。随模型一起,它还发布了 NeMo Speech 中的微调工具包,以及第 2 版 Granary 语音数据集。
有什么新内容
- 一个模型,多种任务。 语音编码器和说话人分离模型(弄清楚谁在什么时候说话)为一个混合专家语言模型提供输入。它可以处理转写、语音翻译、带说话人标注的转写、语种识别和音频问答,并能返回词级时间戳。
- 规模。 模型卡列出的总参数约 340 亿,激活 43 亿,其中包含音频编码器。
- 覆盖范围。 支持 40 种语言,其中 31 种支持与英语互译,13 种支持说话人标注,适用于最长一小时、最多八位说话人的录音。
- 可控的风格。 你用一段文字指令描述想要的转写样式,比如逐字稿或书面形式的数字,也可以提供一份预期出现的人名和术语列表。
- 仅限离线。 它处理的是录制好的音频,不是实时流式识别器。
NVIDIA 公布的平均词错误率在英语 Open ASR 排行榜上为 4.71%,在多语言排行榜上为 4.62%。这些是开发者自己的测量结果,所以请用你自己的音频测试这个模型。
运行它
BF16 权重约 68 GB,FP8 版本约 35 GB,NVFP4 版本约 22 GB。模型卡以单张 80 GB 的 H100 作为部署目标,并为 NVIDIA 的 NeMo-Speech.cpp 提供了 GGUF 文件。这使它比约需 6 GB 的 Whisper large-v3-turbo 重得多。我们的并排对比展示了额外的体积什么时候值得,语音模型页面则列出了其他选择。
许可证
OpenMDW-1.1 是专为机器学习模型编写的简短宽松许可证。它允许你使用、修改、分享和销售模型,并且对输出内容没有任何限制。再分发时必须保留许可证文本和来源声明,开源促进会尚未批准这份许可证。AI 模型许可证详解介绍了它与 Apache 2.0 和 MIT 的比较。
来源
- NVIDIA Research: Nemotron 3.5 Transcribe (28 Oct 2026) research.nvidia.com
- Nemotron 3.5 Transcribe model card (Hugging Face) huggingface.co
- Hugging Face blog: Nemotron 3.5 Transcribe and Granary v2 huggingface.co
本文涉及的模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| Nemotron 3.5 Transcribe NVIDIA | 34B 激活 4.3B | 64K | OpenMDW-1.1 (宽松) | 25 GB 游戏显卡 |