Nemotron 3.5 Transcribe

NVIDIA 开放的语音转文字模型:40 种语言、说话人标注、翻译,以及可用提示词控制的转写风格。

一句话概括. Nemotron 3.5 Transcribe 把录音转成文字。与旧的语音识别工具不同,你可以用日常语言告诉它想要什么风格的转写:逐字还是整理后的文本、带不带说话人、是否翻译。它处理的是最长一小时的完整录音,不适用于实时音频流。

概述

NVIDIA 于 2026 年 10 月 28 日以 OpenMDW-1.1 许可证发布了 Nemotron 3.5 Transcribe,同时发布了 NeMo Speech 中的微调工具包和第 2 版 Granary 语音数据集。

它是一个语音增强语言模型:Transformer 语音编码器和说话人分离(谁在什么时候说话)模型,连接到一个混合专家语言模型。模型卡列出总参数约 340 亿,激活 43 亿(含音频编码器)。同一个模型可完成转写、语音翻译、带说话人标注的转写、语种识别和音频问答,并可返回词级时间戳。它支持 40 种语言,其中 31 种可与英语互译,13 种支持说话人标注,可处理最长一小时、最多八位说话人的录音。

转写风格由一条文字指令设定,例如数字用逐字形式还是书面形式,或提供一份预期的人名和术语列表。该模型处理的是事后的录音,不是实时流式识别器。NVIDIA 称它在英语 Open ASR Leaderboard 上的平均词错误率为 4.71%,在多语言榜单上为 4.62%;这是开发方在其研究页面上公布的自测结果。

BF16 权重约 68 GB,FP8 约 35 GB,NVFP4 约 22 GB。模型卡把单张 H100 80 GB 列为部署目标,并为 NVIDIA 的 NeMo-Speech.cpp 提供 GGUF 文件。

适合做什么

  • 需要说话人标注的会议、通话和访谈转写
  • 多语言转写,以及与英语的互译
  • 医疗、法律或技术转写,可以提供预期的术语
  • 想用开放工具包在自己音频上微调语音模型的团队

需要注意

  • 只支持离线:处理的是完整录音,不是实时音频流
  • 对语音模型来说体积偏大,BF16 权重为 68 GB;NVFP4 版本约 22 GB
  • 翻译覆盖 40 种语言中的 31 种,说话人标注只有 13 种
  • 错误率是 NVIDIA 自己的结果;依赖前请先用自己的音频测试

性能数据来自开发方,未经独立验证。

需要多少内存?

以下是 Nemotron 3.5 Transcribe 各版本的内存数据。图像、视频、语音和音乐管线还要加载文本编码器和解码器,所以所需内存可能比主检查点更大。

版本 参数量 下载大小 所需内存 可运行于
BF16 BF16 34B 激活 4.3B 68 GB 78 GB 工作站
FP8 FP8 34B 激活 4.3B 35 GB 40 GB 工作站
NVFP4 NVFP4 34B 激活 4.3B 22 GB 25 GB 游戏显卡

下载大小包含运行模型所需的全部组件,例如生成器、文本编码器和解码器。所需内存优先采用开发方声明或已公开的实测最低值;没有时按下载大小加约 15% 估算。更大的图像、更长的片段和更高的分辨率需要更多内存。

许可证,用大白话说

由 Linux 基金会和 PyTorch 基金会为机器学习模型撰写的简短宽松许可证。它把模型、数据、文档和软件作为整体一并授权,且不限制你如何使用模型的输出。

进一步了解 OpenMDW-1.1

延伸阅读

常见问题

Nemotron 3.5 Transcribe 是什么?
Nemotron 3.5 Transcribe 把录音转成文字。与旧的语音识别工具不同,你可以用日常语言告诉它想要什么风格的转写:逐字还是整理后的文本、带不带说话人、是否翻译。它处理的是最长一小时的完整录音,不适用于实时音频流。
Nemotron 3.5 Transcribe 可以商用吗?
可以。Nemotron 3.5 Transcribe 采用 OpenMDW-1.1 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
Nemotron 3.5 Transcribe 是开源的吗?
Nemotron 3.5 Transcribe 是开放权重模型,但不是严格意义上的开源。你可以下载模型文件,但 OpenMDW-1.1 附带了开源促进会的定义所不允许的条件。
我能在自己的电脑上运行 Nemotron 3.5 Transcribe 吗?
可以,但需要一块好显卡。最小版本 NVFP4 在 4 位精度下约需 25 GB 内存,适合 24 至 32 GB 的游戏显卡,或 32 GB 及以上内存的 Mac。
Nemotron 3.5 Transcribe 是什么时候发布的?
Nemotron 3.5 Transcribe 由 NVIDIA 于 2026年10月28日 发布。
Nemotron 3.5 Transcribe 的上下文窗口有多长?
Nemotron 3.5 Transcribe 支持最长 64K token 的上下文窗口。

官方链接

来源

规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。

发布时间等信息最近核实于 2026年11月8日。

相关模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Nemotron 3.5 ASR NVIDIA 638M – OpenMDW-1.1 (宽松) 2.93 GB 笔记本或手机
Parakeet TDT 0.6B v3 NVIDIA 627M – CC BY 4.0 (宽松) 2.89 GB 笔记本或手机
Whisper large-v3-turbo OpenAI 810M – 1.54B – MIT (宽松) 6 GB 笔记本或手机
Granite Speech 5.0 IBM 470M – 2.31B – Apache 2.0 (宽松) 1.09 GB 笔记本或手机