Whisper large-v3-turbo
OpenAI 的 MIT 许可语音转文字模型:turbo 版比 large 快约 8 倍,大约 6 GB 显存就能运行。
一句话概括. Whisper 能把语音变成文字。它是使用最广泛的开放语音识别模型之一,支持多种语言和口音,还能把语音翻译成英语。turbo 版本更快更精简,普通游戏显卡就能运行。许可证是 MIT。
概述
Whisper 是 OpenAI 的开放语音识别模型,2022 年首次发布。Whisper large-v3-turbo 于 2024 年 10 月 1 日公布,是 large-v3 经过剪枝和微调的版本,解码器层数从 32 层减少到 4 层,因此速度快得多,代价是质量略有下降。OpenAI 的仓库列出它有 8.09 亿参数、约需 6 GB 显存、速度约为 large 模型的 8 倍;large 模型有 15.5 亿参数,约需 10 GB 显存。速度是 OpenAI 在 A100 上用英语语音测得的,实际效果会有差异。
Whisper 用听到的同一种语言转写,较大的多语言检查点还能把语音翻译成英语。turbo 模型没有经过翻译任务的训练:即使要求翻译,它也会返回原语言,所以翻译请用 large-v3 或其他多语言规格。Whisper 可以返回句子级或词级时间戳。它以 30 秒为窗口处理音频,长录音通过滑动窗口或分块算法处理。large-v3 检查点用 100 万小时弱标注音频和 400 万小时伪标注音频训练。
Whisper 的代码和权重以 MIT 许可证发布。OpenAI 的模型卡称它在约十种语言上表现出色,在不同语言、口音和方言上表现不均衡,还可能凭空生成没有说过的文字,或者重复自己。它无法开箱即用地实时转写。NVIDIA 的 Nemotron 3.5 Transcribe 等较新的开放模型现在已经成为它的竞争对手,但 Whisper 仍是常见的基线,周边工具生态庞大。
适合做什么
- 在自己的电脑上转写会议、访谈、播客和视频
- 添加带句子级或词级时间戳的字幕
- 用 large-v3 检查点把非英语语音翻译成英语
- 受到广泛支持的基线,有许多社区运行时和应用
需要注意
- 它可能编造没有说过的话,尤其是在静音或噪声中,重要转写请核对
- 准确率随语言、口音和方言差异很大,请用你自己的音频测试
- turbo 模型不能翻译,语音翻译请用 large-v3
- Hugging Face 把 large-v3 页面标为 Apache 2.0,而 GitHub 仓库和 turbo 页面写的是 MIT;两者都很宽松,请保留你所用检查点的许可证文本
性能数据来自开发方,未经独立验证。
需要多少内存?
以下是 Whisper large-v3-turbo 各版本的内存数据。图像、视频、语音和音乐管线还要加载文本编码器和解码器,所以所需内存可能比主检查点更大。
| 版本 | 参数量 | 下载大小 | 所需内存 | 可运行于 |
|---|---|---|---|---|
| large-v3-turbo FP16 | 810M | 1.6 GB | 6 GB | 笔记本或手机 |
| large-v3 FP16 | 1.54B | 3.1 GB | 10 GB | 笔记本或手机 |
下载大小包含运行模型所需的全部组件,例如生成器、文本编码器和解码器。所需内存优先采用开发方声明或已公开的实测最低值;没有时按下载大小加约 15% 估算。更大的图像、更长的片段和更高的分辨率需要更多内存。 开发方给出的最低显存要求为 6 GB。
许可证,用大白话说
最简短、最宽松的许可证。只要保留版权和许可声明,你几乎可以对模型做任何事。
延伸阅读
- Whisper large-v3-turbo 与 Nemotron 3.5 Transcribe 对比
- 最佳开源语音模型:语音转文字与文字转语音
- 2026 年最佳开源语音识别(语音转文字)模型
- 开放语音模型:转写很开放,文字转语音则参差不齐
常见问题
- Whisper large-v3-turbo 是什么?
- Whisper 能把语音变成文字。它是使用最广泛的开放语音识别模型之一,支持多种语言和口音,还能把语音翻译成英语。turbo 版本更快更精简,普通游戏显卡就能运行。许可证是 MIT。
- Whisper large-v3-turbo 可以商用吗?
- 可以。Whisper large-v3-turbo 采用 MIT 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
- Whisper large-v3-turbo 是开源的吗?
- Whisper large-v3-turbo 采用 MIT 发布,该许可证经开源促进会(OSI)认可。训练数据和训练代码不一定公开,因此更准确的说法是“采用开源许可证的开放权重模型”。
- 我能在自己的电脑上运行 Whisper large-v3-turbo 吗?
- 可以。最小版本 large-v3-turbo 在 4 位精度下约需 6 GB 内存,现代笔记本或中端显卡即可胜任。
- Whisper large-v3-turbo 是什么时候发布的?
- Whisper large-v3-turbo 由 OpenAI 于 2024年10月1日 发布。
官方链接
来源
规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。
- Whisper repository: models, VRAM table and license (GitHub) github.com
- turbo model release announcement (GitHub discussion) github.com
- whisper-large-v3-turbo model card (Hugging Face) huggingface.co
- Robust Speech Recognition via Large-Scale Weak Supervision (OpenAI paper) cdn.openai.com
发布时间等信息最近核实于 2026年11月8日。
相关模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| Parakeet TDT 0.6B v3 NVIDIA | 627M | – | CC BY 4.0 (宽松) | 2.89 GB 笔记本或手机 | |
| Cohere Transcribe Cohere | 2.07B | – | Apache 2.0 (宽松) | 4.75 GB 笔记本或手机 | |
| Nemotron 3.5 Transcribe NVIDIA | 34B 激活 4.3B | 64K | OpenMDW-1.1 (宽松) | 25 GB 游戏显卡 | |
| Qwen3-ASR Alibaba Qwen | 918M – 2.35B | – | Apache 2.0 (宽松) | 2.12 GB 笔记本或手机 |