如何选择开源文字转语音(TTS)模型
按语言、延迟、声音克隆和许可证对比开放的文字转语音模型:Qwen3-TTS、VoxCPM2、Fun-CosyVoice3、OmniVoice、Voxtral TTS、Chatterbox,以及 Kokoro 这类在 CPU 上运行的微型模型。
简短回答。 做产品,先从 Apache 2.0 的模型试起:需要 10 种语言的流式语音智能体用 Qwen3-TTS,需要 30 种语言和 48 kHz 音频用 VoxCPM2,中文及其方言用 Fun-CosyVoice3,想要 43 种语言并精细控制表达的话可以看新发布的 ZONOS3-Mini。需要 11 种印度语言的话,Maya 2 Native 以 Apache 2.0 提供流式输出,运行在 NVIDIA GPU 上。有四个知名模型只能非商业使用,Chatterbox 已在 2026 年 8 月退役,VibeVoice 仅限研究。没有 GPU 的话,小巧的 Kokoro 和 Phonon 31M 能在笔记本 CPU 上运行,采用 Apache 2.0。无论选哪个,克隆真人的声音都必须征得本人同意。
要看什么
文字转语音模型把文字念出来。开放模型之间的差别主要有四点:
- 语言。 支持的语言从 9 或 10 种到 600 多种不等,而且每份清单里的质量也不一样。
- 延迟。 语音助手要求音频在不到一秒内开始播放,所以要找支持流式输出的模型。
- 声音控制。 有的能根据一小段音频克隆声音,有的能根据文字描述设计新声音,有的两者都行。参见声音克隆。
- 许可证。 这一项最容易让人意外,好几个热门模型只能非商业使用。
我们的文字转语音模型榜单涵盖了收录的所有模型,语音模型榜单还加上了语音识别和语音到语音的模型。
候选清单
| 模型 | 规模 | 许可证 | 语言 | 特点 |
|---|---|---|---|---|
| Qwen3-TTS | 0.6B、1.7B | Apache 2.0 | 10 种 | 3 秒克隆、声音设计,流式输出约 97 毫秒 |
| VoxCPM2 | 2B | Apache 2.0 | 30 种 | 根据描述设计声音、克隆、48 kHz 输出 |
| Fun-CosyVoice3 | 0.5B | Apache 2.0 | 9 种,另有 18 种以上中文方言 | 零样本克隆,流式输出最快 150 毫秒 |
| ZONOS3-Mini | 0.8B,激活 0.1B | Apache 2.0 | 43 种 | 克隆,可控制情绪和单个词,可在浏览器里运行 |
| Maya 2 Native | 2.5B | Apache 2.0 | 12 种(11 种印度语言加英语) | 流式输出、20 个声音、克隆,需要 NVIDIA GPU |
| VieNeu-TTS v3 | 131M,预览版 48M | Apache 2.0 | 2 种(越南语和英语) | 23 个地区声音、克隆、48 kHz,ONNX 可在 CPU 上运行 |
| MOSS-TTS | 8B,4B | Apache 2.0 | 31 种 | 拼音和 IPA 输入、时长控制、精确停顿、克隆 |
| MOSS-TTSD | 8B | Apache 2.0 | 20 种 | 单次最多 5 位说话人、60 分钟的对话 |
| Drama 3 | 36B,激活 3B | Fish Audio Community License | 83 种 | 最多 16 位说话人的表演场景;年营收低于 50 万美元免费 |
| S2 Pro | 4.56B | Fish Audio Research License | 80 多种 | 自由形式的行内标签,凭 10 到 30 秒克隆声音;仅限非商业 |
| Higgs TTS 3 | 4.65B | Boson 研究与非商业许可,含创作者授权 | 100 多种 | 情绪、音效和停顿标签;做产品需要许可 |
| OmniVoice | 0.6B | 权重 CC BY-NC,代码 Apache 2.0 | 600 多种 | 低资源语言的克隆和声音设计 |
| Voxtral TTS | 4B | CC BY-NC | 9 种 | 根据一小段音频适配声音 |
| VibeVoice TTS | 1.5B,0.5B 实时版 | MIT,仅限研究 | 实时版:英文 | 最长 90 分钟、4 位说话人;实时版约 300 毫秒开口 |
| Chatterbox | 0.5B | MIT | 21 到 23 种,视来源而定 | 2026 年 8 月退役 |
| LFM3-Audio | 2B | LFM Open License | 18 种 | 语音输入输出,可在设备端运行 |
| Kokoro | 82M | Apache 2.0 | 8 种 | 54 个固定音色,可在 CPU 上运行,不支持克隆 |
| Pocket TTS | 100M | CC BY 4.0,需授权下载 | 6 种 | 约 5 秒克隆,可在 CPU 上运行 |
| MOSS-TTS-Nano | 100M | Apache 2.0 | 约 20 种 | 克隆、48 kHz 立体声,CPU 上可走 ONNX 路线 |
| Phonon 31M | 31M | Apache 2.0 | 英语 | 64.5 MB 文件,37 个音色 |
| Phonon 40M | 40M | CC BY-NC,需授权下载 | 5 种 | 每种语言一个模型,或一个多语言模型,文件 74.6 MB |
| Supertonic 3 | 99M | OpenRAIL-M | 31 种 | 通过 ONNX 在 CPU 上运行,2026 年 9 月归档 |
使用前请对照模型卡核对语言清单:例如,Chatterbox 的模型卡和发布公告给出的语言数量略有出入。
按任务选择
- 语音助手或智能体。 选支持流式输出的。Qwen3-TTS 报告最佳情况下约 97 毫秒,Fun-CosyVoice3 最快 150 毫秒开始流式输出,Mistral 的 Voxtral TTS 则设计为与 Voxtral Realtime 配合,实现语音进、语音出。延迟取决于你的硬件和服务栈,请自己测量。
- 旁白、有声书和视频配音。 Qwen3-TTS 和 VoxCPM2 以 Apache 2.0 覆盖许多语言。对于很长的多人音频,VibeVoice 支持最长 90 分钟、4 位说话人,但只能用于研究,而 Apache 2.0 的 MOSS-TTSD 单次可处理最多 5 位说话人、60 分钟的音频。需要表演式对白的话,Drama 3 接受 [whispering] 这样的指令,一份剧本里最多 16 个说话人标签,但它的许可证把免费商用限制在年营收 50 万美元以下。
- 中文,包括方言。 Fun-CosyVoice3 和 VoxCPM2。
- 精确的发音和时间控制。 MOSS-TTS 以 Apache 2.0 提供 31 种语言的拼音或 IPA 输入、按词元数设定时长,以及 [pause 3.2s] 这样的停顿。它的 v1.5 模型卡没有发布新的基准,所以请测试你需要的语言。
- 越南语。 VieNeu-TTS v3 是一位独立开发者做的 131M 模型,有来自北部、中部和南部地区的 23 个声音,能用 3 到 8 秒的音频克隆,支持越南语和英语混用,全部采用 Apache 2.0。它的模型卡给出了速度数字,但没有质量基准,所以投入之前请先听一听。
- 印度语言。 Maya 2 Native 以 Apache 2.0 覆盖印地语、泰米尔语、泰卢固语、孟加拉语等 11 种印度语言和英语。它的错误率来自 Maya 自己的自动评判,阿萨姆语最弱,所以请测试你需要的语言。它运行在带 CUDA 的 NVIDIA GPU 上。
- 把笑声、耳语和停顿写进文本。 Higgs TTS 3 支持 21 种情绪、九种音效、语速和停顿标签,Boson 称在 102 种语言上达到个位数错误率。它只对研究、个人使用以及署名 Boson 的创作者免费。Fish Audio 的 S2 Pro 接受 [whisper in small voice] 这样的自由形式标签,可在 24 GB 显存的 GPU 上运行,但只限研究和非商业使用。
- 设计声音而不是克隆声音。 VoxCPM2 和 Qwen3-TTS 能根据文字描述创造新声音,不需要录音。
- 冷门语言。 OmniVoice 列出了 600 多种语言。它的权重只能非商业使用,在低资源语言上结果也可能不稳定,所以把它当作研究工具。
- 私密的设备端语音。 LFM3-Audio 是 2B 模型,可在笔记本和边缘设备上完成语音输入和输出,年营收低于 1000 万美元可免费商用。
- 在笔记本上做可精细控制的克隆。 ZONOS3-Mini 支持 43 种语言的声音克隆,可控制口音、情绪和单个词的强调。Zyphra 称它能在笔记本、手机和浏览器里实时运行,但它在 2026 年 11 月 9 日才发布,还没有太多使用记录。
- 完全没有 GPU。 Kokoro、Pocket TTS、Phonon 31M 和 Supertonic 3 都小到可以在笔记本 CPU 上运行。Phonon 31M 最小,只有 64.5 MB,Pocket TTS 是能克隆声音的那个,Kokoro 使用最广。MOSS-TTS-Nano 和 VieNeu-TTS v3 是两个较新的 CPU 选项,同样能克隆声音。在 CPU 上就能运行的小型文字转语音模型对它们作了比较,Kokoro 与 Pocket TTS 对比则讲了第一个要做的决定。
OmniVoice 与 VoxCPM2 对比把语言覆盖和许可证之间的取舍放在了一起。
被演示打动之前,先读许可证
许可证决定了一个有前景的语音模型能不能上线。要了解五种情形:
- 代码和权重不同。 OmniVoice 的代码是 Apache 2.0,但权重是 CC BY-NC,不允许商用。
- 继承而来的非商用。 Voxtral TTS 采用 CC BY-NC,Mistral 的模型卡把它和参考声音联系在一起,所以要做产品,需要使用 Mistral 的托管服务或另行取得许可。
- 非商业许可证里的创作者例外。 Higgs TTS 3 的 Boson 许可证 允许创作者在自己拥有的渠道变现播客、视频和有声书,前提是署名 Boson AI 的 Higgs Audio。提供该模型服务、把它集成进产品以及训练其他语音模型,仍然需要另行签订协议。
- 仅限研究的用途。 微软 VibeVoice 的模型卡把用途限定为研究,而且微软在 2025 年 9 月因滥用从 GitHub 删除了最初的 TTS 代码。
- 随权重一起走的使用限制。 Supertonic 3 采用 OpenRAIL-M,它允许商用,但要求每一份副本和衍生模型都附带禁止用途清单。术语 OpenRAIL 解释了这种模式。
营收上限也要留意:LFM Open License 在年营收 1000 万美元处截止,Drama 3 所采用的 Fish Audio Community License 在 50 万美元处截止,并且无论规模都不覆盖托管的文字转语音或声音克隆服务。它较早的同门模型 S2 Pro 则完全没有商用档,因为 Fish Audio Research License 把公司内部使用也算作商业用途。AI 许可证详解和术语非商业许可证讲解了通用规则。
负责任地使用声音克隆
未经许可克隆真人的声音可能违法或造成伤害,Apache 2.0 或 MIT 许可证并不改变这一点。开发者自己也这样说:OpenBMB 禁止用 VoxCPM2 冒充他人、欺诈和传播虚假信息,并要求给 AI 生成的音频加标注;OmniVoice 的作者禁止未经授权的克隆、冒充和欺诈,Fish Audio 的许可证禁止未经同意的模仿和移除它的水印,Boson 为 Higgs TTS 3 设定的许可证则要求明确且可验证的同意,高风险用途还要保留记录。Chatterbox 的输出默认带有 PerTh 水印,而 Maya 称 Maya 2 Native 不加水印,所以标注要靠你自己。请征得每位说话人的同意,给合成音频加标注,并在产品里设置你自己的防护措施。
像听众一样测试
从你的真实场景里挑出 20 句话:包含人名、数字、缩写、一段长文,以及你服务的每种语言的文本。用两三个候选模型各生成一遍,然后盲听。记录你的硬件上首段音频出现的时间,因为公布的延迟数字都是最佳情况。还要注意,有些模型每次运行的结果不同:OpenBMB 称 VoxCPM2 的声音设计和风格控制会有波动,所以可能需要多生成几次。如何自己评估 AI 模型说明了如何把这些变成可重复的测试。
要搭建完整的语音流水线,还需要在前面加一个识别模型,如何选择语音转文字模型介绍了另一半。
常见问题
- 哪个开源文字转语音模型听起来最自然?
- 我们无法给出独立的排名。模型卡上的质量和延迟对比都来自开发者,比如 Qwen 自己的报告,以及 Mistral 与 ElevenLabs 的人工评测。请用两三个模型生成同样的二十句话,再盲听比较。
- 能用开源模型克隆声音吗?
- 可以。Qwen3-TTS、Fun-CosyVoice3、VoxCPM2、ZONOS3-Mini、Maya 2 Native、VieNeu-TTS v3、MOSS-TTS、MOSS-TTSD、MOSS-TTS-Nano、Drama 3、S2 Pro、Higgs TTS 3、OmniVoice、Voxtral TTS、Chatterbox 和 Pocket TTS 都能根据一小段参考音频克隆声音。必须征得说话人同意,因为开放许可证并不赋予你使用任何人声音的权利。
- 哪些开源文字转语音模型可以用于商业产品?
- Qwen3-TTS、VoxCPM2、Fun-CosyVoice3、ZONOS3-Mini、Maya 2 Native、VieNeu-TTS v3、MOSS-TTS、MOSS-TTSD、MOSS-TTS-Nano、Kokoro 和 Phonon 31M 采用 Apache 2.0。OmniVoice 和 Voxtral TTS 的权重是 CC BY-NC,只能非商业使用。Higgs TTS 3 也是研究与非商业许可,只有一个例外:创作者在自己的渠道发布播客、视频和有声书,只要署名 Boson 就可以变现,但做产品或托管服务需要付费许可。Fish Audio 的 S2 Pro 同样是研究与非商业许可,任何商业使用都需要 Fish Audio 的单独许可。VibeVoice 是 MIT,但仅限研究用途。LFM3-Audio 只有年营收低于 1000 万美元时才可免费商用,Drama 3 则只有低于 50 万美元时才可以,而且无论规模都不能用来提供托管的声音服务。
- 文字转语音模型需要多大的 GPU 内存?
- 和语言模型相比不算大。OpenBMB 称 VoxCPM2 大约 8 GB 显存就能运行。按我们的估算,4B 的 Voxtral TTS 在 BF16 下约需 9 GB,0.5B 的模型约需 1 到 2 GB。8B 的 MOSS-TTS 在 BF16 下权重有 17.0 GB,所以需要比这更大的 GPU 显存。Fish Audio 的 4.6B 模型 S2 Pro 要求至少 24 GB 显存,Drama 3 是体量大的例外:FP8 权重 41.5 GB,需要约 48 GB 的 GPU。
- 哪些开源文字转语音模型能在 CPU 上运行?
- 据各自开发者介绍,Kokoro(82M)、Pocket TTS(100M)、Phonon 31M、Supertonic 3(99M)、MOSS-TTS-Nano(100M)和 VieNeu-TTS v3(131M,越南语和英语)都小到可以在笔记本 CPU 上运行。Kokoro、Phonon 31M、MOSS-TTS-Nano 和 VieNeu-TTS v3 采用 Apache 2.0,Pocket TTS 能克隆声音,但权重需要授权才能下载,Supertonic 3 已被归档。
- 有支持中文方言的开源模型吗?
- Fun-CosyVoice3 支持 9 种语言和 18 种以上的中文方言,VoxCPM2 的 30 种语言里也包含中文方言。请测试你自己的方言,因为不同语言的质量并不相同。
本文关键术语
- 基准测试(Benchmark) 基准测试是用来比较模型的标准化测试,例如一组数学、编程或知识问题;分数有参考价值,但很容易被过度解读。
- 非商业许可证 非商业许可证允许你把模型用于研究、学习和个人项目,但不允许用它赚钱。
- 端侧 AI(On-device AI) 端侧 AI 指模型在你自己的手机、笔记本或小型开发板上运行,而不是在云端,所以数据留在本地,也能离线使用。
- OpenRAIL(负责任 AI 许可证) OpenRAIL 是一类许可证:允许你使用、修改和分享模型,包括商用,但要求每一份副本和衍生模型都附带一份禁止用途清单。
- 文字转语音(TTS) 文字转语音模型把文字转成语音,许多模型还能用一小段样音复制某个声音。
- 声音克隆 声音克隆让文字转语音模型用某个人的声音说话,往往只需几秒钟的录音。
本文提到的模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| Qwen3-TTS Alibaba Qwen | 910M – 1.92B | – | Apache 2.0 (宽松) | 3.68 GB 笔记本或手机 | |
| VoxCPM2 OpenBMB | 2.29B | – | Apache 2.0 (宽松) | 8 GB 笔记本或手机 | |
| Fun-CosyVoice 3 Tongyi Lab Speech Team | 500M | – | Apache 2.0 (宽松) | 6.21 GB 笔记本或手机 | |
| ZONOS3-Mini Zyphra | 800M 激活 100M | – | Apache 2.0 (宽松) | 10 GB 笔记本或手机 | |
| Maya 2 Native Maya Research | 2.5B | – | Apache 2.0 (宽松) | 5.75 GB 笔记本或手机 | |
| VieNeu-TTS v3 Phạm Nguyễn Ngọc Bảo (VieNeu-TTS) | 48M – 131M | – | Apache 2.0 (宽松) | 0.322 GB 笔记本或手机 | |
| MOSS-TTS OpenMOSS | 4.55B – 8.49B | – | Apache 2.0 (宽松) | 10 GB 笔记本或手机 | |
| MOSS-TTSD OpenMOSS | 8.36B | – | Apache 2.0 (宽松) | 19 GB 游戏显卡 | |
| MOSS-TTS-Nano OpenMOSS | 100M | – | Apache 2.0 (宽松) | 0.276 GB 笔记本或手机 | |
| Drama 3 Fish Audio | 35.9B 激活 3B | – | Fish Audio Community 1.0 (附条件) | 25 GB 游戏显卡 | |
| S2 Pro Fish Audio | 4.56B | – | Fish Audio Research (非商用) | 24 GB 游戏显卡 | |
| Higgs TTS 3 Boson AI | 4.65B | – | Boson Higgs Non-Commercial (非商用) | 11 GB 笔记本或手机 | |
| OmniVoice Xiaomi | 613M | – | CC BY-NC (非商用) | 3.75 GB 笔记本或手机 | |
| Voxtral TTS Mistral AI | 4.09B | – | CC BY-NC (非商用) | 9.2 GB 笔记本或手机 | |
| VibeVoice-TTS Microsoft | 1.02B – 2.7B | 64K | MIT (宽松) | 2.35 GB 笔记本或手机 | |
| Kokoro hexgrad | 82M | – | Apache 2.0 (宽松) | 0.38 GB 笔记本或手机 | |
| Pocket TTS Kyutai | 18M – 100M | – | CC BY 4.0 (宽松) | 0.127 GB 笔记本或手机 |