Nemotron 3.5 ASR
NVIDIA 的流式语音转文字模型:一个 0.6B 模型支持 40 种语言区域,延迟可按请求在 80 ms 到 1.12 s 之间设置。
一句话概括. Nemotron 3.5 ASR 在人说话的同时把语音转成文字。一个小模型开箱即用地转写 32 种语言区域,再微调后还能认出另外 8 种。你可以在运行时决定它等多久再确定文字,用一点准确率换更短的延迟。
概述
Nemotron 3.5 ASR 是 NVIDIA 英语流式识别模型的多语言版本,模型卡给出的 Hugging Face 发布日期是 2026 年 6 月 4 日。它约有 6.38 亿参数,使用 24 层缓存感知的 FastConformer 编码器和 RNN-T 解码器。缓存感知是指编码器保留之前音频块的计算结果,只处理新到的音频,而不是像缓冲式流式识别那样反复读取重叠的窗口。语言 ID 提示词告诉模型该预期哪种语言,也可以让它自己检测语言,并给每句话标上语言。块大小(也就是延迟)在推理时从 80、160、320、560 或 1120 毫秒中选择,无需重新训练。输出带标点和大小写。
模型卡把 40 种语言区域分成三档。19 种是可直接转写的,包括英语(美国和英国)、西班牙语、法语、意大利语、葡萄牙语、荷兰语、德语、土耳其语、俄语、阿拉伯语、印地语、日语、韩语、越南语和乌克兰语。13 种是广覆盖,包括波兰语、瑞典语、捷克语、普通话和芬兰语。另外 8 种是待适配的,也就是分词器认识它们,但要用自己的数据微调后才能有用地转写:希腊语、立陶宛语、拉脱维亚语、马耳他语、斯洛文尼亚语、希伯来语、泰语和挪威尼诺斯克语。只做英语时,NVIDIA 推荐另一个英语流式模型,它采用 NVIDIA Open Model License。
NVIDIA 报告的是 FLEURS 上的词错误率,日语、韩语和普通话用字符错误率。在 19 种可直接转写的语言区域上,指定语言时的平均值是 80 ms 设置下 10.38%、1.12 s 设置下 8.84%,使用自动语言检测时 80 ms 下是 11.14%。英语在 80 ms 和 1.12 s 下分别是 9.43% 和 7.91%,西班牙语是 4.87% 和 4.11%。NVIDIA 提醒,它的文本归一化在各语言区域上并不完美,因此实际质量可能比这些数字略好。在吞吐方面,它称在 80 ms 设置下,一块 H100 能同时服务的流数量约是其 Parakeet RNNT 1.1B 多语言模型的 17 倍(240 对 14),在 1120 ms 下是 6 倍(2400 对 400)。这些都是 NVIDIA 自己的测量。
训练用了 40 种语言区域共 1 万到 100 万小时的音频,来自 NVIDIA 自己的多语言数据集,以及 Granary、Multilingual LibriSpeech、Common Voice、FLEURS 和 VoxPopuli。一部分标签来自多个其他识别模型的集成,标点用 Qwen3-32B 补上。许可证是 OpenMDW-1.1。模型可以在 NVIDIA NeMo 中运行,也可以在 5.13.0 及以上版本的 Hugging Face Transformers 中运行,还可以通过轻量的 NeMo-Speech.cpp 运行时使用同一仓库里 0.74 GB 的 8 位 GGUF 文件。
适合做什么
- 需要在不到一秒内出字的语音助手和实时字幕
- 用一块 GPU 同时服务大量并发的音频流
- 混合语言的流量,因为模型能检测并标出每句话的语言
- 为资源较少的语言做微调,因为另外 8 种语言区域已经在分词器里
需要注意
- 40 种语言区域中有 8 种需要用自己的数据微调后才能有用地转写
- 只做英语时 NVIDIA 推荐另一个英语模型,它使用不同的许可证
- 各语言准确率差别很大,80 ms 设置下从西班牙语不到 5% 到乌克兰语约 16%
- 自动语言检测不如指定语言准确,印地语、俄语和乌克兰语的差距很大
- 错误率和吞吐量数字都是 NVIDIA 自己的
性能数据来自开发方,未经独立验证。
需要多少内存?
以下是 Nemotron 3.5 ASR 各版本的内存数据。图像、视频、语音和音乐管线还要加载文本编码器和解码器,所以所需内存可能比主检查点更大。
| 版本 | 参数量 | 下载大小 | 所需内存 | 可运行于 |
|---|---|---|---|---|
| Nemotron 3.5 ASR Streaming 0.6B FP32 | 638M | 2.55 GB | 2.93 GB | 笔记本或手机 |
下载大小包含运行模型所需的全部组件,例如生成器、文本编码器和解码器。所需内存优先采用开发方声明或已公开的实测最低值;没有时按下载大小加约 15% 估算。更大的图像、更长的片段和更高的分辨率需要更多内存。
许可证,用大白话说
由 Linux 基金会和 PyTorch 基金会为机器学习模型撰写的简短宽松许可证。它把模型、数据、文档和软件作为整体一并授权,且不限制你如何使用模型的输出。
延伸阅读
常见问题
- Nemotron 3.5 ASR 是什么?
- Nemotron 3.5 ASR 在人说话的同时把语音转成文字。一个小模型开箱即用地转写 32 种语言区域,再微调后还能认出另外 8 种。你可以在运行时决定它等多久再确定文字,用一点准确率换更短的延迟。
- Nemotron 3.5 ASR 可以商用吗?
- 可以。Nemotron 3.5 ASR 采用 OpenMDW-1.1 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
- Nemotron 3.5 ASR 是开源的吗?
- Nemotron 3.5 ASR 是开放权重模型,但不是严格意义上的开源。你可以下载模型文件,但 OpenMDW-1.1 附带了开源促进会的定义所不允许的条件。
- 我能在自己的电脑上运行 Nemotron 3.5 ASR 吗?
- 可以。最小版本 Nemotron 3.5 ASR Streaming 0.6B 在 4 位精度下约需 2.93 GB 内存,现代笔记本或中端显卡即可胜任。
- Nemotron 3.5 ASR 是什么时候发布的?
- Nemotron 3.5 ASR 由 NVIDIA 于 2026年6月4日 发布。
官方链接
来源
规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。
- Nemotron 3.5 ASR Streaming 0.6B model card (Hugging Face) huggingface.co
- Hugging Face blog: fine-tuning Nemotron 3.5 ASR huggingface.co
- Nemotron Speech Streaming EN 0.6B model card (Hugging Face) huggingface.co
发布时间等信息最近核实于 2026年11月11日。
相关模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| Parakeet TDT 0.6B v3 NVIDIA | 627M | – | CC BY 4.0 (宽松) | 2.89 GB 笔记本或手机 | |
| Nemotron 3.5 Transcribe NVIDIA | 34B 激活 4.3B | 64K | OpenMDW-1.1 (宽松) | 25 GB 游戏显卡 | |
| Voxtral Realtime Mistral AI | 4.43B | 128K | Apache 2.0 (宽松) | 10 GB 笔记本或手机 | |
| Granite Speech 5.0 IBM | 470M – 2.31B | – | Apache 2.0 (宽松) | 1.09 GB 笔记本或手机 |