开放语音模型:转写很开放,文字转语音则参差不齐

我们收录的 11 个开放语音转文字模型中,有 10 个没有商用限制,而 14 个文字转语音模型里只有 6 个是纯粹的 Apache 2.0,其余的限制非商业、设上限、附带限制或已停更。

  • 分析
  • 阅读约 7 分钟
  • 发布于

开放的语音模型沿着许可证分成了两边。在我们的语音识别榜单和文字转语音榜单共 24 个模型中,几乎所有转写模型都很宽松,而开放的声音模型则附带更多条件。做语音产品,请先检查许可证。

转写:许可证很少是问题

我们榜单里的 11 个语音转文字模型有 10 个采用宽松条款。Whisper large-v3 turbo 和 VibeVoice-ASR 是 MIT;Qwen3-ASR、Voxtral Realtime、Cohere Transcribe、Granite Speech 5.0 和 Whistle 是 Apache 2.0;Nemotron 3.5 Transcribe 和 Nemotron 3.5 ASR 采用 OpenMDW 1.1;Parakeet TDT 0.6B v3 采用 CC BY 4.0,只要求署名。第 11 个 LFM3-Audio 只有年收入低于 1000 万美元时才可免费商用。

真正起作用的限制是技术性的。Nemotron 3.5 Transcribe 的 BF16 权重有 68 GB,而且只能处理已经录好的音频,而 Whistle 只有一个 16.9 MB 的文件,支持七种语言。Voxtral Realtime 允许你在延迟和准确率之间取舍,它的模型卡显示,160 毫秒时的平均错误率为 12.60%,480 毫秒时为 8.72%。所有准确率数字都来自开发者自己,所以请用你的音频测试。

文字转语音:几种不同的附加条件

14 个文字转语音模型分成了几组,只有 6 个是纯粹的 Apache 2.0:

模型 权重许可证 商用 附加条件
Qwen3-TTS Apache 2.0 允许 10 种语言
VoxCPM2 Apache 2.0 允许 声音设计每次结果会有差异
Kokoro Apache 2.0 允许 不能克隆声音;只有一位独立开发者
Fun-CosyVoice3 Apache 2.0 允许 只发布了 0.5B 模型
Phonon 31M Apache 2.0 允许 仅支持英语
ZONOS3-Mini Apache 2.0 允许 文本规范化只覆盖九种语言
Pocket TTS 模型卡写的是 CC BY 4.0 允许,需署名 发布文章写的是 MIT;下载需要授权(gated)
Supertonic 3 OpenRAIL-M 允许,但有禁止用途 已归档;限制会随每一份副本传递
OmniVoice CC BY-NC(代码 Apache 2.0) 不允许 权重仅限非商业
Voxtral TTS CC BY-NC 不允许,除非另行获得许可 权重仅限非商业
LFM3-Audio LFM Open License 仅限年收入低于 1000 万美元 营收上限
Drama 3 Fish Audio Community License 仅限年收入低于 50 万美元 无论规模都不得提供托管的声音服务
Chatterbox MIT 允许 2026 年 8 月已停止维护
VibeVoice TTS MIT 模型卡把预期用途限定为研究 微软在 2025 年 9 月撤下了 TTS 代码

一个项目在 GitHub 上看起来很宽松,却仍可能不能用于产品。OmniVoice 的代码是 Apache 2.0,但权重是 CC BY-NC,所以截至 2026 年 11 月 11 日的 30 天内约 380 万次下载,并不能说明你能不能拿它上线。Mistral 的模型卡把 Voxtral TTS 的 CC BY-NC 许可证与其参考声音联系在一起,Phonon 则在同一个家族内部就分了两半:英语的 31M 模型是 Apache 2.0,而多语言的 40M 模型是 CC BY-NC。

营收上限的大小相差悬殊。LFM3-Audio 在年收入低于 1000 万美元时免费,而 Drama 3 的上限只有 50 万美元,它的许可证还从不覆盖托管的文字转语音或声音克隆服务,所以基于它搭建声音 API,无论规模大小都需要另行协商。

维护状态是第二道筛选。Resemble AI 于 2026 年 8 月停止维护 Chatterbox 并归档了仓库,Supertone 也归档了 Supertonic 3,所以两者都不会再更新。VibeVoice 的模型卡把用途限定为研究,微软在 2025 年 9 月因滥用而从 GitHub 撤下了 TTS 代码。

许可证不等于同意

宽松的许可证授予的是软件的权利,而不是一个人声音的权利。未经许可克隆真人的声音可能违法或有害,Apache 2.0 或 MIT 许可证并不会改变这一点。开发者也这样要求:OpenBMB 禁止用 VoxCPM2 冒充他人、欺诈和传播虚假信息,并要求给 AI 生成的音频加标签,OmniVoice 的作者禁止未经授权的克隆,Fish Audio 的许可证则禁止未经同意的模仿。Chatterbox 默认会给输出加上 PerTh 水印。

该怎么做

  • 阅读权重的许可证,而不只是代码的许可证。
  • 检查项目是否仍在维护。
  • 商用产品先从 Qwen3-TTS、VoxCPM2、Kokoro、Fun-CosyVoice3 或新发布的 ZONOS3-Mini 开始,并测试你的语言。
  • 克隆任何说话人的声音都要得到本人同意,并给合成音频加标签。

我们的指南如何选择文字转语音模型和如何选择语音转文字模型把这些变成了候选清单,OmniVoice 与 VoxCPM2 对比则把语言覆盖与许可证的取舍放在了一起。想了解不用 GPU 就能运行的模型,请读小型文字转语音模型在 CPU 上运行。术语表解释了非商业许可证。

来源

本文涉及的模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Qwen3-TTS Alibaba Qwen 910M – 1.92B – Apache 2.0 (宽松) 3.68 GB 笔记本或手机
VoxCPM2 OpenBMB 2.29B – Apache 2.0 (宽松) 8 GB 笔记本或手机
Kokoro hexgrad 82M – Apache 2.0 (宽松) 0.38 GB 笔记本或手机
Fun-CosyVoice 3 Tongyi Lab Speech Team 500M – Apache 2.0 (宽松) 6.21 GB 笔记本或手机
Phonon 31M Gradium 31M – Apache 2.0 (宽松) 0.0747 GB 笔记本或手机
ZONOS3-Mini Zyphra 800M 激活 100M – Apache 2.0 (宽松) 10 GB 笔记本或手机
Pocket TTS Kyutai 18M – 100M – CC BY 4.0 (宽松) 0.127 GB 笔记本或手机
Supertonic 3 Supertone 99M – OpenRAIL-M (附条件) 0.46 GB 笔记本或手机
OmniVoice Xiaomi 613M – CC BY-NC (非商用) 3.75 GB 笔记本或手机
Voxtral TTS Mistral AI 4.09B – CC BY-NC (非商用) 9.2 GB 笔记本或手机
VibeVoice-TTS Microsoft 1.02B – 2.7B 64K MIT (宽松) 2.35 GB 笔记本或手机
Chatterbox Resemble AI 500M – MIT (宽松) 3.69 GB 笔记本或手机
LFM3-Audio-2B Liquid AI 2B 32K LFM Open 1.0 (附条件) 4.6 GB 笔记本或手机
Drama 3 Fish Audio 35.9B 激活 3B – Fish Audio Community 1.0 (附条件) 25 GB 游戏显卡
Whisper large-v3-turbo OpenAI 810M – 1.54B – MIT (宽松) 6 GB 笔记本或手机
VibeVoice-ASR Microsoft 2.81B – 8.67B 64K MIT (宽松) 6.47 GB 笔记本或手机
Qwen3-ASR Alibaba Qwen 918M – 2.35B – Apache 2.0 (宽松) 2.12 GB 笔记本或手机
Voxtral Realtime Mistral AI 4.43B 128K Apache 2.0 (宽松) 10 GB 笔记本或手机
Cohere Transcribe Cohere 2.07B – Apache 2.0 (宽松) 4.75 GB 笔记本或手机
Granite Speech 5.0 IBM 470M – 2.31B – Apache 2.0 (宽松) 1.09 GB 笔记本或手机
Whistle Cactus Compute 55M – Apache 2.0 (宽松) 0.253 GB 笔记本或手机
Nemotron 3.5 Transcribe NVIDIA 34B 激活 4.3B 64K OpenMDW-1.1 (宽松) 25 GB 游戏显卡
Nemotron 3.5 ASR NVIDIA 638M – OpenMDW-1.1 (宽松) 2.93 GB 笔记本或手机
Parakeet TDT 0.6B v3 NVIDIA 627M – CC BY 4.0 (宽松) 2.89 GB 笔记本或手机