Whisper large-v3-turbo

OpenAI 的 MIT 许可语音转文字模型:turbo 版比 large 快约 8 倍,大约 6 GB 显存就能运行。

一句话概括. Whisper 能把语音变成文字。它是使用最广泛的开放语音识别模型之一,支持多种语言和口音,还能把语音翻译成英语。turbo 版本更快更精简,普通游戏显卡就能运行。许可证是 MIT。

概述

Whisper 是 OpenAI 的开放语音识别模型,2022 年首次发布。Whisper large-v3-turbo 于 2024 年 10 月 1 日公布,是 large-v3 经过剪枝和微调的版本,解码器层数从 32 层减少到 4 层,因此速度快得多,代价是质量略有下降。OpenAI 的仓库列出它有 8.09 亿参数、约需 6 GB 显存、速度约为 large 模型的 8 倍;large 模型有 15.5 亿参数,约需 10 GB 显存。速度是 OpenAI 在 A100 上用英语语音测得的,实际效果会有差异。

Whisper 用听到的同一种语言转写,较大的多语言检查点还能把语音翻译成英语。turbo 模型没有经过翻译任务的训练:即使要求翻译,它也会返回原语言,所以翻译请用 large-v3 或其他多语言规格。Whisper 可以返回句子级或词级时间戳。它以 30 秒为窗口处理音频,长录音通过滑动窗口或分块算法处理。large-v3 检查点用 100 万小时弱标注音频和 400 万小时伪标注音频训练。

Whisper 的代码和权重以 MIT 许可证发布。OpenAI 的模型卡称它在约十种语言上表现出色,在不同语言、口音和方言上表现不均衡,还可能凭空生成没有说过的文字,或者重复自己。它无法开箱即用地实时转写。NVIDIA 的 Nemotron 3.5 Transcribe 等较新的开放模型现在已经成为它的竞争对手,但 Whisper 仍是常见的基线,周边工具生态庞大。

适合做什么

  • 在自己的电脑上转写会议、访谈、播客和视频
  • 添加带句子级或词级时间戳的字幕
  • 用 large-v3 检查点把非英语语音翻译成英语
  • 受到广泛支持的基线,有许多社区运行时和应用

需要注意

  • 它可能编造没有说过的话,尤其是在静音或噪声中,重要转写请核对
  • 准确率随语言、口音和方言差异很大,请用你自己的音频测试
  • turbo 模型不能翻译,语音翻译请用 large-v3
  • Hugging Face 把 large-v3 页面标为 Apache 2.0,而 GitHub 仓库和 turbo 页面写的是 MIT;两者都很宽松,请保留你所用检查点的许可证文本

性能数据来自开发方,未经独立验证。

需要多少内存?

以下是 Whisper large-v3-turbo 各版本的内存数据。图像、视频、语音和音乐管线还要加载文本编码器和解码器,所以所需内存可能比主检查点更大。

版本 参数量 下载大小 所需内存 可运行于
large-v3-turbo FP16 810M 1.6 GB 6 GB 笔记本或手机
large-v3 FP16 1.54B 3.1 GB 10 GB 笔记本或手机

下载大小包含运行模型所需的全部组件,例如生成器、文本编码器和解码器。所需内存优先采用开发方声明或已公开的实测最低值;没有时按下载大小加约 15% 估算。更大的图像、更长的片段和更高的分辨率需要更多内存。 开发方给出的最低显存要求为 6 GB。

许可证,用大白话说

最简短、最宽松的许可证。只要保留版权和许可声明,你几乎可以对模型做任何事。

进一步了解 MIT

延伸阅读

常见问题

Whisper large-v3-turbo 是什么?
Whisper 能把语音变成文字。它是使用最广泛的开放语音识别模型之一,支持多种语言和口音,还能把语音翻译成英语。turbo 版本更快更精简,普通游戏显卡就能运行。许可证是 MIT。
Whisper large-v3-turbo 可以商用吗?
可以。Whisper large-v3-turbo 采用 MIT 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
Whisper large-v3-turbo 是开源的吗?
Whisper large-v3-turbo 采用 MIT 发布,该许可证经开源促进会(OSI)认可。训练数据和训练代码不一定公开,因此更准确的说法是“采用开源许可证的开放权重模型”。
我能在自己的电脑上运行 Whisper large-v3-turbo 吗?
可以。最小版本 large-v3-turbo 在 4 位精度下约需 6 GB 内存,现代笔记本或中端显卡即可胜任。
Whisper large-v3-turbo 是什么时候发布的?
Whisper large-v3-turbo 由 OpenAI 于 2024年10月1日 发布。

官方链接

来源

规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。

发布时间等信息最近核实于 2026年11月8日。

相关模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Parakeet TDT 0.6B v3 NVIDIA 627M – CC BY 4.0 (宽松) 2.89 GB 笔记本或手机
Cohere Transcribe Cohere 2.07B – Apache 2.0 (宽松) 4.75 GB 笔记本或手机
Nemotron 3.5 Transcribe NVIDIA 34B 激活 4.3B 64K OpenMDW-1.1 (宽松) 25 GB 游戏显卡
Qwen3-ASR Alibaba Qwen 918M – 2.35B – Apache 2.0 (宽松) 2.12 GB 笔记本或手机