开放语音模型:转写很开放,文字转语音则参差不齐
我们收录的 11 个开放语音转文字模型中,有 10 个没有商用限制,而 14 个文字转语音模型里只有 6 个是纯粹的 Apache 2.0,其余的限制非商业、设上限、附带限制或已停更。
开放的语音模型沿着许可证分成了两边。在我们的语音识别榜单和文字转语音榜单共 24 个模型中,几乎所有转写模型都很宽松,而开放的声音模型则附带更多条件。做语音产品,请先检查许可证。
转写:许可证很少是问题
我们榜单里的 11 个语音转文字模型有 10 个采用宽松条款。Whisper large-v3 turbo 和 VibeVoice-ASR 是 MIT;Qwen3-ASR、Voxtral Realtime、Cohere Transcribe、Granite Speech 5.0 和 Whistle 是 Apache 2.0;Nemotron 3.5 Transcribe 和 Nemotron 3.5 ASR 采用 OpenMDW 1.1;Parakeet TDT 0.6B v3 采用 CC BY 4.0,只要求署名。第 11 个 LFM3-Audio 只有年收入低于 1000 万美元时才可免费商用。
真正起作用的限制是技术性的。Nemotron 3.5 Transcribe 的 BF16 权重有 68 GB,而且只能处理已经录好的音频,而 Whistle 只有一个 16.9 MB 的文件,支持七种语言。Voxtral Realtime 允许你在延迟和准确率之间取舍,它的模型卡显示,160 毫秒时的平均错误率为 12.60%,480 毫秒时为 8.72%。所有准确率数字都来自开发者自己,所以请用你的音频测试。
文字转语音:几种不同的附加条件
14 个文字转语音模型分成了几组,只有 6 个是纯粹的 Apache 2.0:
| 模型 | 权重许可证 | 商用 | 附加条件 |
|---|---|---|---|
| Qwen3-TTS | Apache 2.0 | 允许 | 10 种语言 |
| VoxCPM2 | Apache 2.0 | 允许 | 声音设计每次结果会有差异 |
| Kokoro | Apache 2.0 | 允许 | 不能克隆声音;只有一位独立开发者 |
| Fun-CosyVoice3 | Apache 2.0 | 允许 | 只发布了 0.5B 模型 |
| Phonon 31M | Apache 2.0 | 允许 | 仅支持英语 |
| ZONOS3-Mini | Apache 2.0 | 允许 | 文本规范化只覆盖九种语言 |
| Pocket TTS | 模型卡写的是 CC BY 4.0 | 允许,需署名 | 发布文章写的是 MIT;下载需要授权(gated) |
| Supertonic 3 | OpenRAIL-M | 允许,但有禁止用途 | 已归档;限制会随每一份副本传递 |
| OmniVoice | CC BY-NC(代码 Apache 2.0) | 不允许 | 权重仅限非商业 |
| Voxtral TTS | CC BY-NC | 不允许,除非另行获得许可 | 权重仅限非商业 |
| LFM3-Audio | LFM Open License | 仅限年收入低于 1000 万美元 | 营收上限 |
| Drama 3 | Fish Audio Community License | 仅限年收入低于 50 万美元 | 无论规模都不得提供托管的声音服务 |
| Chatterbox | MIT | 允许 | 2026 年 8 月已停止维护 |
| VibeVoice TTS | MIT | 模型卡把预期用途限定为研究 | 微软在 2025 年 9 月撤下了 TTS 代码 |
一个项目在 GitHub 上看起来很宽松,却仍可能不能用于产品。OmniVoice 的代码是 Apache 2.0,但权重是 CC BY-NC,所以截至 2026 年 11 月 11 日的 30 天内约 380 万次下载,并不能说明你能不能拿它上线。Mistral 的模型卡把 Voxtral TTS 的 CC BY-NC 许可证与其参考声音联系在一起,Phonon 则在同一个家族内部就分了两半:英语的 31M 模型是 Apache 2.0,而多语言的 40M 模型是 CC BY-NC。
营收上限的大小相差悬殊。LFM3-Audio 在年收入低于 1000 万美元时免费,而 Drama 3 的上限只有 50 万美元,它的许可证还从不覆盖托管的文字转语音或声音克隆服务,所以基于它搭建声音 API,无论规模大小都需要另行协商。
维护状态是第二道筛选。Resemble AI 于 2026 年 8 月停止维护 Chatterbox 并归档了仓库,Supertone 也归档了 Supertonic 3,所以两者都不会再更新。VibeVoice 的模型卡把用途限定为研究,微软在 2025 年 9 月因滥用而从 GitHub 撤下了 TTS 代码。
许可证不等于同意
宽松的许可证授予的是软件的权利,而不是一个人声音的权利。未经许可克隆真人的声音可能违法或有害,Apache 2.0 或 MIT 许可证并不会改变这一点。开发者也这样要求:OpenBMB 禁止用 VoxCPM2 冒充他人、欺诈和传播虚假信息,并要求给 AI 生成的音频加标签,OmniVoice 的作者禁止未经授权的克隆,Fish Audio 的许可证则禁止未经同意的模仿。Chatterbox 默认会给输出加上 PerTh 水印。
该怎么做
- 阅读权重的许可证,而不只是代码的许可证。
- 检查项目是否仍在维护。
- 商用产品先从 Qwen3-TTS、VoxCPM2、Kokoro、Fun-CosyVoice3 或新发布的 ZONOS3-Mini 开始,并测试你的语言。
- 克隆任何说话人的声音都要得到本人同意,并给合成音频加标签。
我们的指南如何选择文字转语音模型和如何选择语音转文字模型把这些变成了候选清单,OmniVoice 与 VoxCPM2 对比则把语言覆盖与许可证的取舍放在了一起。想了解不用 GPU 就能运行的模型,请读小型文字转语音模型在 CPU 上运行。术语表解释了非商业许可证。
来源
- Qwen3-TTS 发布文章(Qwen) qwen.ai
- VoxCPM2 模型卡(Hugging Face) huggingface.co
- Kokoro-82M 模型卡(Hugging Face) huggingface.co
- Fun-CosyVoice3 模型卡(Hugging Face) huggingface.co
- phonon-31m-en 模型卡(Hugging Face) huggingface.co
- ZONOS3-Mini 发布文章(Zyphra,2026 年 11 月 9 日) zyphra.com
- Pocket TTS 模型卡(Hugging Face) huggingface.co
- Kyutai:Pocket TTS 发布文章(2026 年 1 月 13 日) kyutai.org
- Supertonic 3 模型卡(Hugging Face 归档) huggingface.co
- OmniVoice 模型卡(Hugging Face) huggingface.co
- Voxtral TTS 发布文章(Mistral AI) mistral.ai
- VibeVoice 仓库(微软,GitHub) github.com
- Chatterbox 仓库(Resemble AI,GitHub) github.com
- LFM3-Audio-2B 模型卡(Hugging Face) huggingface.co
- Drama 3 模型卡与许可证(Hugging Face) huggingface.co
- Whisper large-v3-turbo 模型卡(Hugging Face) huggingface.co
- Qwen3-ASR-1.7B 模型卡(Hugging Face) huggingface.co
- Voxtral-Mini-4B-Realtime-2602 模型卡(Hugging Face) huggingface.co
- cohere-transcribe-03-2026 模型卡(Hugging Face) huggingface.co
- IBM:Granite Speech 5.0 博客(2026 年 10 月 21 日) huggingface.co
- Whistle 模型卡(Hugging Face) huggingface.co
- NVIDIA Nemotron 3.5 Transcribe 模型卡(Hugging Face) huggingface.co
- Nemotron 3.5 ASR Streaming 0.6B 模型卡(Hugging Face) huggingface.co
- parakeet-tdt-0.6b-v3 模型卡(Hugging Face) huggingface.co
本文涉及的模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| Qwen3-TTS Alibaba Qwen | 910M – 1.92B | – | Apache 2.0 (宽松) | 3.68 GB 笔记本或手机 | |
| VoxCPM2 OpenBMB | 2.29B | – | Apache 2.0 (宽松) | 8 GB 笔记本或手机 | |
| Kokoro hexgrad | 82M | – | Apache 2.0 (宽松) | 0.38 GB 笔记本或手机 | |
| Fun-CosyVoice 3 Tongyi Lab Speech Team | 500M | – | Apache 2.0 (宽松) | 6.21 GB 笔记本或手机 | |
| Phonon 31M Gradium | 31M | – | Apache 2.0 (宽松) | 0.0747 GB 笔记本或手机 | |
| ZONOS3-Mini Zyphra | 800M 激活 100M | – | Apache 2.0 (宽松) | 10 GB 笔记本或手机 | |
| Pocket TTS Kyutai | 18M – 100M | – | CC BY 4.0 (宽松) | 0.127 GB 笔记本或手机 | |
| Supertonic 3 Supertone | 99M | – | OpenRAIL-M (附条件) | 0.46 GB 笔记本或手机 | |
| OmniVoice Xiaomi | 613M | – | CC BY-NC (非商用) | 3.75 GB 笔记本或手机 | |
| Voxtral TTS Mistral AI | 4.09B | – | CC BY-NC (非商用) | 9.2 GB 笔记本或手机 | |
| VibeVoice-TTS Microsoft | 1.02B – 2.7B | 64K | MIT (宽松) | 2.35 GB 笔记本或手机 | |
| Chatterbox Resemble AI | 500M | – | MIT (宽松) | 3.69 GB 笔记本或手机 | |
| LFM3-Audio-2B Liquid AI | 2B | 32K | LFM Open 1.0 (附条件) | 4.6 GB 笔记本或手机 | |
| Drama 3 Fish Audio | 35.9B 激活 3B | – | Fish Audio Community 1.0 (附条件) | 25 GB 游戏显卡 | |
| Whisper large-v3-turbo OpenAI | 810M – 1.54B | – | MIT (宽松) | 6 GB 笔记本或手机 | |
| VibeVoice-ASR Microsoft | 2.81B – 8.67B | 64K | MIT (宽松) | 6.47 GB 笔记本或手机 | |
| Qwen3-ASR Alibaba Qwen | 918M – 2.35B | – | Apache 2.0 (宽松) | 2.12 GB 笔记本或手机 | |
| Voxtral Realtime Mistral AI | 4.43B | 128K | Apache 2.0 (宽松) | 10 GB 笔记本或手机 | |
| Cohere Transcribe Cohere | 2.07B | – | Apache 2.0 (宽松) | 4.75 GB 笔记本或手机 | |
| Granite Speech 5.0 IBM | 470M – 2.31B | – | Apache 2.0 (宽松) | 1.09 GB 笔记本或手机 | |
| Whistle Cactus Compute | 55M | – | Apache 2.0 (宽松) | 0.253 GB 笔记本或手机 | |
| Nemotron 3.5 Transcribe NVIDIA | 34B 激活 4.3B | 64K | OpenMDW-1.1 (宽松) | 25 GB 游戏显卡 | |
| Nemotron 3.5 ASR NVIDIA | 638M | – | OpenMDW-1.1 (宽松) | 2.93 GB 笔记本或手机 | |
| Parakeet TDT 0.6B v3 NVIDIA | 627M | – | CC BY 4.0 (宽松) | 2.89 GB 笔记本或手机 |