如何选择开源语音转文字(ASR)模型

按语言、实时流式、说话人标签、内存和许可证对比开放的语音转文字模型:Whisper large-v3-turbo、Qwen3-ASR、Voxtral Realtime、VibeVoice-ASR 等。

  • 入门
  • 阅读约 12 分钟
  • 发布于
  • 更新于

简短回答。 想在笔记本上处理文件,默认选择 Whisper large-v3-turbo 加 whisper.cpp 就很稳妥。实时字幕选 Voxtral Realtime 或 Nemotron 3.5 ASR,中文方言和歌声选 Qwen3-ASR,阿拉伯语及其方言选 Jais-ASR,需要说话人标签时选 VibeVoice-ASR 或 Nemotron 3.5 Transcribe。Whistle 只有 16.9 MB,适合手机或只有 CPU 的设备。准确率的说法都来自开发者自己,所以请用你的音频测试。

语音转文字模型做什么

语音识别把音频转成文本。开放模型除了准确率,在转写结果附带的功能上也各有不同。比较数字之前,先问四个问题:

  1. 离线还是实时? 录制完成的音频让模型能看到全部内容,而实时字幕必须在说话的同时显示。
  2. 音频有多长? 有些模型是为一次处理一小时设计的,另一些则针对短片段。
  3. 需要说话人标签、时间戳或翻译吗?
  4. 哪些语言和口音? 覆盖范围从 13 种到 50 多种不等,而且每份清单里的质量也各不相同。

我们的语音识别模型榜单列出了收录的所有模型。

候选清单

模型 规模 许可证 语言 特点
Whisper large-v3-turbo 0.8B MIT 多种 比 large 快约 8 倍,大约 6 GB GPU 内存就能运行
Qwen3-ASR 0.6B、1.7B Apache 2.0 30 种,另有 22 种中文方言 能转写歌声,支持流式,配合对齐器输出逐词时间戳
Voxtral Realtime 4B Apache 2.0 13 种 延迟可在 80 毫秒到 2.4 秒之间设定
VibeVoice-ASR 8.7B MIT 50 多种 一次处理一小时音频,带说话人标签和热词
Nemotron 3.5 Transcribe 30B-A4B OpenMDW 40 种 说话人标签、翻译、可用提示词控制风格;仅限离线
Nemotron 3.5 ASR 0.6B OpenMDW 40 个语言区域,32 个可直接使用 流式,每次请求可在 80 毫秒到 1.12 秒之间选择延迟
Parakeet TDT 0.6B v3 0.6B CC BY 4.0 25 种欧洲语言 自动识别语言;逐词时间戳;需署名 NVIDIA
Cohere Transcribe 2B Apache 2.0 14 种 只做转写;需要你指定语言;下载需要授权(gated)
Jais-ASR 5.7B Apache 2.0 阿拉伯语(含 19 个国家的方言),另有英语、法语、西班牙语和意大利语 语码转换、可选的变音符号、方言标签;在 IFM 自己的表格里,它在一个阿拉伯语排行榜上平均成绩最好
Granite Speech 5.0 2B、470M Apache 2.0 6 种和 7 种 2B 能与英语互译;470M 的 CTC 模型主打速度
MOSS-Transcribe-Diarize 0.9B Apache 2.0 50 多种 一次最长 90 分钟、说话人标签、热词
GigaAM-v3 220M 到 240M MIT 俄语 e2e 版本输出带标点的规范化文本
GigaAM Multilingual 220M、600M MIT 报告了英语、俄语、哈萨克语、吉尔吉斯语、乌兹别克语 在 Sber 的测试里中亚语言表现强,英语只有中等水平
Whistle 55M Apache 2.0 7 种 16.9 MB 的文件,普通 CPU 即可运行;逐词时间戳
LFM3-Audio 2B LFM Open License 18 种 设备端语音输入输出;转写和翻译

按任务选择

  • 多位说话人的会议、访谈和播客。 VibeVoice-ASR 一次最多处理一小时音频,并给出说话人标签和时间戳。Nemotron 3.5 Transcribe 也能标注说话人,但只限 40 种语言中的 13 种。MOSS-Transcribe-Diarize 是 0.9B、Apache 2.0 的替代选择,最长能处理 90 分钟,不过它公布的分数来自中文测试集。标签的含义可以看说话人分离。
  • 实时字幕、语音助手和通话智能体。 Voxtral Realtime 让你在延迟和准确率之间取舍。Nemotron 3.5 ASR 在一个 0.6B 的模型里做到同样的事,40 个语言区域中有 32 个可直接使用。Qwen3-ASR 有流式模式,VibeVoice-ASR 提供覆盖 10 种语言的流式版本。
  • 小显卡上的欧洲语言。 Parakeet TDT 0.6B v3 覆盖 25 种欧洲语言,能自动识别所说的语言,并给出逐词时间戳。Parakeet TDT 0.6B v3 与 Cohere Transcribe 对比把它和 14 种语言的转写专用模型放在了一起。
  • 俄语和中亚语言。 GigaAM-v3 是俄语识别模型,它的 e2e 版本会写标点;GigaAM Multilingual 增加了哈萨克语、吉尔吉斯语和乌兹别克语。Sber 自己的测试显示两者都领先 Whisper large v3,在哈萨克语、吉尔吉斯语和乌兹别克语上优势很大,但所有分数都来自开发者,Multilingual 模型的英语只有中等水平。
  • 手机、可穿戴设备或只有 CPU 的设备。 Whistle 只有 16.9 MB,支持七种欧洲语言;Granite Speech 5.0 470M TurboCTC 则是为边缘设备上的速度而设计的。
  • 阿拉伯语及其方言。 Jais-ASR 面向真实口语的阿拉伯语:现代标准阿拉伯语和 19 个国家的方言,支持夹杂英语、法语、西班牙语或意大利语的语码转换,可选变音符号,每份转写还带方言标签。在 IFM 自己的表格里,它在 Open Universal Arabic ASR Leaderboard 上平均错误率最低,为 22.85%,下一个开放模型是 23.17%,但在干净的朗读语音上落后于最好的系统。BF16 下约需 12 GB 显存,另有 5.8 GB 的 AWQ 版本。
  • 中文、方言和歌词。 Qwen3-ASR 覆盖 22 种中文方言,能转写歌声,还提供输出逐词或逐字时间戳的强制对齐器。
  • 笔记本或离线字幕工作流。 Whisper large-v3-turbo 能给出句子级和词级时间戳,许多应用和运行时都支持它。turbo 模型不能翻译,所以要把语音翻译成英文,请用 large-v3。
  • 医疗、法律或技术词汇。 VibeVoice-ASR 接受姓名和术语等热词,Nemotron 3.5 Transcribe 接受你提供的预期术语。
  • 翻译。 Nemotron 3.5 Transcribe 能翻译 40 种语言中的 31 种,Granite Speech 5.0 2B 能与英语互译,LFM3-Audio 则在设备端翻译它的 18 种语言。

同时比较延迟和准确率

用于实时场景时,延迟和错误率此消彼长。Voxtral Realtime 自己的表格显示,延迟 160 毫秒时平均错误率为 12.60%,480 毫秒时为 8.72%,所以你可以选择适合产品的那个点。同一张表还显示了语言的影响有多大:480 毫秒时,英语是 4.90%,韩语是 15.74%,阿拉伯语是 22.53%。Qwen3-ASR 与 Voxtral Realtime 对比把这两个能做实时的模型放在了一起。

词错误率是标准的评分,词条词错误率解释了它的算法,以及为什么同一个模型在朗读的干净语音和真实会议上的得分可以相差很大。

检查内存和速度

BF16 下,权重每个参数约占 2 字节,运行模型还需要额外的内存存放激活值:

模型 参数 BF16 权重 备注
Qwen3-ASR 0.6B 0.94B 约 1.9 GB 适合批处理的快速选项
Whisper large-v3-turbo 0.81B 约 1.6 GB OpenAI 的 README 列出运行它大约需要 6 GB GPU 内存
Qwen3-ASR 1.7B 2.35B 约 4.7 GB
Voxtral Realtime 4.43B 约 8.9 GB
VibeVoice-ASR 8.67B 约 17 GB 微软还提供 CPU 引擎
Granite Speech 5.0 470M TurboCTC 0.47B 约 0.95 GB 小而快的 CTC 模型
Nemotron 3.5 ASR 0.64B 约 1.3 GB Hugging Face 上的检查点以 FP32 存储,为 2.55 GB
Parakeet TDT 0.6B v3 0.63B 约 1.3 GB 检查点为 FP32,2.51 GB;8 位 GGUF 为 0.71 GB
Cohere Transcribe 2.07B 约 4.1 GB
Jais-ASR 5.72B 约 11.4 GB 模型卡按约 12 GB 显存规划;另有 5.8 GB 的 AWQ 版本
Nemotron 3.5 Transcribe 34B 约 68 GB NVFP4 下约 22 GB;模型卡以单张 H100 80 GB 为目标

你自己的配置可以用显存计算器试算。

了解它们的局限

识别模型会犯一些典型的错误。Whisper 可能编造从没说过的词,尤其在静音或噪声中,任何模型都可能听错姓名和数字。口音、重叠说话和较差的麦克风都会降低准确率。请用你自己的录音抽样测试,听一听出错的地方,并核对用户关心的专有名词。如何自己评估 AI 模型介绍了怎样建立小型测试集。

运行它

whisper.cpp 可以在 CPU、Apple 芯片和手机上运行 Whisper 模型。较新的模型自带运行时,所以请先读模型卡:Voxtral Realtime 的模型卡建议使用 vLLM 加 websocket 流式输出,比简单的文件转写工具需要更多配置。Parakeet TDT 0.6B v3 和 Nemotron 3.5 ASR 在 NVIDIA 的 NeMo 工具包中运行,Whistle 则自带开发者的 C++ 引擎。如果你还想让应用开口说话,如何选择文字转语音模型介绍了语音流水线的另一半。

常见问题

最好的开源语音转文字模型是哪个?
取决于你的音频。Whisper large-v3-turbo 下载量最高,截至 2026 年 11 月 11 日的 30 天内约 510 万次,应用和运行时的支持也最完善。较新的模型增加了 Whisper 原生没有的功能,比如实时流式、整小时输入和说话人标签,但它们的准确率说法都来自开发者自己。
哪些开源模型能转写实时音频?
Voxtral Realtime 让你把延迟设在 80 毫秒到 2.4 秒之间,Nemotron 3.5 ASR 可设在 80 毫秒到 1.12 秒之间。Qwen3-ASR 有流式模式,VibeVoice-ASR 有覆盖 10 种语言的流式版本。Nemotron 3.5 Transcribe 只能离线使用,需要已经录制完成的音频。
哪些模型能标注是谁在说话?
VibeVoice-ASR、MOSS-Transcribe-Diarize 和 Nemotron 3.5 Transcribe 会返回说话人标签,Nemotron 的模型卡把说话人归属限定在 13 种语言。Qwen3-ASR 和 Voxtral Realtime 的模型卡没有介绍说话人标签,使用它们时请另外配一个说话人分离工具。
开源语音转文字模型有多准?
准确率因语言、口音和噪声而异,模型卡上的每个数字都来自开发者。Voxtral Realtime 自己的表格显示,在 480 毫秒延迟下,英语的词错误率为 4.90%,阿拉伯语为 22.53%。请在你自己的音频上测试,并人工核对姓名和数字。
可以在商业产品中使用这些模型吗?
大多数可以。Whisper、VibeVoice-ASR、GigaAM-v3 和 GigaAM Multilingual 采用 MIT,Qwen3-ASR、Voxtral Realtime、Cohere Transcribe、Jais-ASR、Granite Speech 5.0、MOSS-Transcribe-Diarize 和 Whistle 采用 Apache 2.0,两个 Nemotron 模型采用宽松的 OpenMDW 许可证。Parakeet TDT 0.6B v3 采用 CC BY 4.0,必须署名 NVIDIA。LFM3-Audio 只有年营收低于 1000 万美元时才可免费商用。
哪些开源语音转文字模型能在 CPU 或手机上运行?
Whistle 是一个 16.9 MB、支持七种语言的模型,开发者在普通 CPU 上运行它,在 Apple M4 Pro 上约 11 毫秒就出第一个词元。IBM 把 Granite Speech 5.0 470M TurboCTC 做成面向速度和边缘设备的模型,BF16 权重不到 1 GB。Parakeet TDT 0.6B v3 还有一个 0.71 GB 的 8 位 GGUF 文件,供轻量的 C++ 运行时使用。

本文关键术语

  • 基准测试(Benchmark) 基准测试是用来比较模型的标准化测试,例如一组数学、编程或知识问题;分数有参考价值,但很容易被过度解读。
  • 端侧 AI(On-device AI) 端侧 AI 指模型在你自己的手机、笔记本或小型开发板上运行,而不是在云端,所以数据留在本地,也能离线使用。
  • 说话人分离(说话人标签) 说话人分离会判断录音中谁在什么时候说话,并给每一段语音标上说话人,例如说话人 1 和说话人 2。
  • 语音识别(ASR、语音转文字) 语音识别又称 ASR 或语音转文字,把说出的音频转成书面文字。
  • 词错误率(WER) 词错误率是语音识别的标准评分:转写稿中与正确参考稿相比,错误、缺失或多余的词所占的比例。

本文提到的模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Whisper large-v3-turbo OpenAI 810M – 1.54B – MIT (宽松) 6 GB 笔记本或手机
Qwen3-ASR Alibaba Qwen 918M – 2.35B – Apache 2.0 (宽松) 2.12 GB 笔记本或手机
Voxtral Realtime Mistral AI 4.43B 128K Apache 2.0 (宽松) 10 GB 笔记本或手机
VibeVoice-ASR Microsoft 2.81B – 8.67B 64K MIT (宽松) 6.47 GB 笔记本或手机
Nemotron 3.5 Transcribe NVIDIA 34B 激活 4.3B 64K OpenMDW-1.1 (宽松) 25 GB 游戏显卡
Nemotron 3.5 ASR NVIDIA 638M – OpenMDW-1.1 (宽松) 2.93 GB 笔记本或手机
Parakeet TDT 0.6B v3 NVIDIA 627M – CC BY 4.0 (宽松) 2.89 GB 笔记本或手机
Cohere Transcribe Cohere 2.07B – Apache 2.0 (宽松) 4.75 GB 笔记本或手机
Jais-ASR Institute of Foundation Models (MBZUAI) 5.72B – Apache 2.0 (宽松) 3.63 GB 笔记本或手机
Granite Speech 5.0 IBM 470M – 2.31B – Apache 2.0 (宽松) 1.09 GB 笔记本或手机
Whistle Cactus Compute 55M – Apache 2.0 (宽松) 0.253 GB 笔记本或手机
MOSS-Transcribe-Diarize OpenMOSS 910M 128K Apache 2.0 (宽松) 2.09 GB 笔记本或手机
GigaAM-v3 Sber (GigaChat) 220M – 240M – MIT (宽松) 0.506 GB 笔记本或手机
GigaAM Multilingual Sber (GigaChat) 220M – 600M – MIT (宽松) 1.01 GB 笔记本或手机
LFM3-Audio-2B Liquid AI 2B 32K LFM Open 1.0 (附条件) 4.6 GB 笔记本或手机