如何选择开源文字转语音(TTS)模型

按语言、延迟、声音克隆和许可证对比开放的文字转语音模型:Qwen3-TTS、VoxCPM2、Fun-CosyVoice3、OmniVoice、Voxtral TTS、Chatterbox,以及 Kokoro 这类在 CPU 上运行的微型模型。

  • 入门
  • 阅读约 14 分钟
  • 发布于
  • 更新于

简短回答。 做产品,先从 Apache 2.0 的模型试起:需要 10 种语言的流式语音智能体用 Qwen3-TTS,需要 30 种语言和 48 kHz 音频用 VoxCPM2,中文及其方言用 Fun-CosyVoice3,想要 43 种语言并精细控制表达的话可以看新发布的 ZONOS3-Mini。需要 11 种印度语言的话,Maya 2 Native 以 Apache 2.0 提供流式输出,运行在 NVIDIA GPU 上。有四个知名模型只能非商业使用,Chatterbox 已在 2026 年 8 月退役,VibeVoice 仅限研究。没有 GPU 的话,小巧的 Kokoro 和 Phonon 31M 能在笔记本 CPU 上运行,采用 Apache 2.0。无论选哪个,克隆真人的声音都必须征得本人同意。

要看什么

文字转语音模型把文字念出来。开放模型之间的差别主要有四点:

  1. 语言。 支持的语言从 9 或 10 种到 600 多种不等,而且每份清单里的质量也不一样。
  2. 延迟。 语音助手要求音频在不到一秒内开始播放,所以要找支持流式输出的模型。
  3. 声音控制。 有的能根据一小段音频克隆声音,有的能根据文字描述设计新声音,有的两者都行。参见声音克隆。
  4. 许可证。 这一项最容易让人意外,好几个热门模型只能非商业使用。

我们的文字转语音模型榜单涵盖了收录的所有模型,语音模型榜单还加上了语音识别和语音到语音的模型。

候选清单

模型 规模 许可证 语言 特点
Qwen3-TTS 0.6B、1.7B Apache 2.0 10 种 3 秒克隆、声音设计,流式输出约 97 毫秒
VoxCPM2 2B Apache 2.0 30 种 根据描述设计声音、克隆、48 kHz 输出
Fun-CosyVoice3 0.5B Apache 2.0 9 种,另有 18 种以上中文方言 零样本克隆,流式输出最快 150 毫秒
ZONOS3-Mini 0.8B,激活 0.1B Apache 2.0 43 种 克隆,可控制情绪和单个词,可在浏览器里运行
Maya 2 Native 2.5B Apache 2.0 12 种(11 种印度语言加英语) 流式输出、20 个声音、克隆,需要 NVIDIA GPU
VieNeu-TTS v3 131M,预览版 48M Apache 2.0 2 种(越南语和英语) 23 个地区声音、克隆、48 kHz,ONNX 可在 CPU 上运行
MOSS-TTS 8B,4B Apache 2.0 31 种 拼音和 IPA 输入、时长控制、精确停顿、克隆
MOSS-TTSD 8B Apache 2.0 20 种 单次最多 5 位说话人、60 分钟的对话
Drama 3 36B,激活 3B Fish Audio Community License 83 种 最多 16 位说话人的表演场景;年营收低于 50 万美元免费
S2 Pro 4.56B Fish Audio Research License 80 多种 自由形式的行内标签,凭 10 到 30 秒克隆声音;仅限非商业
Higgs TTS 3 4.65B Boson 研究与非商业许可,含创作者授权 100 多种 情绪、音效和停顿标签;做产品需要许可
OmniVoice 0.6B 权重 CC BY-NC,代码 Apache 2.0 600 多种 低资源语言的克隆和声音设计
Voxtral TTS 4B CC BY-NC 9 种 根据一小段音频适配声音
VibeVoice TTS 1.5B,0.5B 实时版 MIT,仅限研究 实时版:英文 最长 90 分钟、4 位说话人;实时版约 300 毫秒开口
Chatterbox 0.5B MIT 21 到 23 种,视来源而定 2026 年 8 月退役
LFM3-Audio 2B LFM Open License 18 种 语音输入输出,可在设备端运行
Kokoro 82M Apache 2.0 8 种 54 个固定音色,可在 CPU 上运行,不支持克隆
Pocket TTS 100M CC BY 4.0,需授权下载 6 种 约 5 秒克隆,可在 CPU 上运行
MOSS-TTS-Nano 100M Apache 2.0 约 20 种 克隆、48 kHz 立体声,CPU 上可走 ONNX 路线
Phonon 31M 31M Apache 2.0 英语 64.5 MB 文件,37 个音色
Phonon 40M 40M CC BY-NC,需授权下载 5 种 每种语言一个模型,或一个多语言模型,文件 74.6 MB
Supertonic 3 99M OpenRAIL-M 31 种 通过 ONNX 在 CPU 上运行,2026 年 9 月归档

使用前请对照模型卡核对语言清单:例如,Chatterbox 的模型卡和发布公告给出的语言数量略有出入。

按任务选择

  • 语音助手或智能体。 选支持流式输出的。Qwen3-TTS 报告最佳情况下约 97 毫秒,Fun-CosyVoice3 最快 150 毫秒开始流式输出,Mistral 的 Voxtral TTS 则设计为与 Voxtral Realtime 配合,实现语音进、语音出。延迟取决于你的硬件和服务栈,请自己测量。
  • 旁白、有声书和视频配音。 Qwen3-TTS 和 VoxCPM2 以 Apache 2.0 覆盖许多语言。对于很长的多人音频,VibeVoice 支持最长 90 分钟、4 位说话人,但只能用于研究,而 Apache 2.0 的 MOSS-TTSD 单次可处理最多 5 位说话人、60 分钟的音频。需要表演式对白的话,Drama 3 接受 [whispering] 这样的指令,一份剧本里最多 16 个说话人标签,但它的许可证把免费商用限制在年营收 50 万美元以下。
  • 中文,包括方言。 Fun-CosyVoice3 和 VoxCPM2。
  • 精确的发音和时间控制。 MOSS-TTS 以 Apache 2.0 提供 31 种语言的拼音或 IPA 输入、按词元数设定时长,以及 [pause 3.2s] 这样的停顿。它的 v1.5 模型卡没有发布新的基准,所以请测试你需要的语言。
  • 越南语。 VieNeu-TTS v3 是一位独立开发者做的 131M 模型,有来自北部、中部和南部地区的 23 个声音,能用 3 到 8 秒的音频克隆,支持越南语和英语混用,全部采用 Apache 2.0。它的模型卡给出了速度数字,但没有质量基准,所以投入之前请先听一听。
  • 印度语言。 Maya 2 Native 以 Apache 2.0 覆盖印地语、泰米尔语、泰卢固语、孟加拉语等 11 种印度语言和英语。它的错误率来自 Maya 自己的自动评判,阿萨姆语最弱,所以请测试你需要的语言。它运行在带 CUDA 的 NVIDIA GPU 上。
  • 把笑声、耳语和停顿写进文本。 Higgs TTS 3 支持 21 种情绪、九种音效、语速和停顿标签,Boson 称在 102 种语言上达到个位数错误率。它只对研究、个人使用以及署名 Boson 的创作者免费。Fish Audio 的 S2 Pro 接受 [whisper in small voice] 这样的自由形式标签,可在 24 GB 显存的 GPU 上运行,但只限研究和非商业使用。
  • 设计声音而不是克隆声音。 VoxCPM2 和 Qwen3-TTS 能根据文字描述创造新声音,不需要录音。
  • 冷门语言。 OmniVoice 列出了 600 多种语言。它的权重只能非商业使用,在低资源语言上结果也可能不稳定,所以把它当作研究工具。
  • 私密的设备端语音。 LFM3-Audio 是 2B 模型,可在笔记本和边缘设备上完成语音输入和输出,年营收低于 1000 万美元可免费商用。
  • 在笔记本上做可精细控制的克隆。 ZONOS3-Mini 支持 43 种语言的声音克隆,可控制口音、情绪和单个词的强调。Zyphra 称它能在笔记本、手机和浏览器里实时运行,但它在 2026 年 11 月 9 日才发布,还没有太多使用记录。
  • 完全没有 GPU。 Kokoro、Pocket TTS、Phonon 31M 和 Supertonic 3 都小到可以在笔记本 CPU 上运行。Phonon 31M 最小,只有 64.5 MB,Pocket TTS 是能克隆声音的那个,Kokoro 使用最广。MOSS-TTS-Nano 和 VieNeu-TTS v3 是两个较新的 CPU 选项,同样能克隆声音。在 CPU 上就能运行的小型文字转语音模型对它们作了比较,Kokoro 与 Pocket TTS 对比则讲了第一个要做的决定。

OmniVoice 与 VoxCPM2 对比把语言覆盖和许可证之间的取舍放在了一起。

被演示打动之前,先读许可证

许可证决定了一个有前景的语音模型能不能上线。要了解五种情形:

  • 代码和权重不同。 OmniVoice 的代码是 Apache 2.0,但权重是 CC BY-NC,不允许商用。
  • 继承而来的非商用。 Voxtral TTS 采用 CC BY-NC,Mistral 的模型卡把它和参考声音联系在一起,所以要做产品,需要使用 Mistral 的托管服务或另行取得许可。
  • 非商业许可证里的创作者例外。 Higgs TTS 3 的 Boson 许可证 允许创作者在自己拥有的渠道变现播客、视频和有声书,前提是署名 Boson AI 的 Higgs Audio。提供该模型服务、把它集成进产品以及训练其他语音模型,仍然需要另行签订协议。
  • 仅限研究的用途。 微软 VibeVoice 的模型卡把用途限定为研究,而且微软在 2025 年 9 月因滥用从 GitHub 删除了最初的 TTS 代码。
  • 随权重一起走的使用限制。 Supertonic 3 采用 OpenRAIL-M,它允许商用,但要求每一份副本和衍生模型都附带禁止用途清单。术语 OpenRAIL 解释了这种模式。

营收上限也要留意:LFM Open License 在年营收 1000 万美元处截止,Drama 3 所采用的 Fish Audio Community License 在 50 万美元处截止,并且无论规模都不覆盖托管的文字转语音或声音克隆服务。它较早的同门模型 S2 Pro 则完全没有商用档,因为 Fish Audio Research License 把公司内部使用也算作商业用途。AI 许可证详解和术语非商业许可证讲解了通用规则。

负责任地使用声音克隆

未经许可克隆真人的声音可能违法或造成伤害,Apache 2.0 或 MIT 许可证并不改变这一点。开发者自己也这样说:OpenBMB 禁止用 VoxCPM2 冒充他人、欺诈和传播虚假信息,并要求给 AI 生成的音频加标注;OmniVoice 的作者禁止未经授权的克隆、冒充和欺诈,Fish Audio 的许可证禁止未经同意的模仿和移除它的水印,Boson 为 Higgs TTS 3 设定的许可证则要求明确且可验证的同意,高风险用途还要保留记录。Chatterbox 的输出默认带有 PerTh 水印,而 Maya 称 Maya 2 Native 不加水印,所以标注要靠你自己。请征得每位说话人的同意,给合成音频加标注,并在产品里设置你自己的防护措施。

像听众一样测试

从你的真实场景里挑出 20 句话:包含人名、数字、缩写、一段长文,以及你服务的每种语言的文本。用两三个候选模型各生成一遍,然后盲听。记录你的硬件上首段音频出现的时间,因为公布的延迟数字都是最佳情况。还要注意,有些模型每次运行的结果不同:OpenBMB 称 VoxCPM2 的声音设计和风格控制会有波动,所以可能需要多生成几次。如何自己评估 AI 模型说明了如何把这些变成可重复的测试。

要搭建完整的语音流水线,还需要在前面加一个识别模型,如何选择语音转文字模型介绍了另一半。

常见问题

哪个开源文字转语音模型听起来最自然?
我们无法给出独立的排名。模型卡上的质量和延迟对比都来自开发者,比如 Qwen 自己的报告,以及 Mistral 与 ElevenLabs 的人工评测。请用两三个模型生成同样的二十句话,再盲听比较。
能用开源模型克隆声音吗?
可以。Qwen3-TTS、Fun-CosyVoice3、VoxCPM2、ZONOS3-Mini、Maya 2 Native、VieNeu-TTS v3、MOSS-TTS、MOSS-TTSD、MOSS-TTS-Nano、Drama 3、S2 Pro、Higgs TTS 3、OmniVoice、Voxtral TTS、Chatterbox 和 Pocket TTS 都能根据一小段参考音频克隆声音。必须征得说话人同意,因为开放许可证并不赋予你使用任何人声音的权利。
哪些开源文字转语音模型可以用于商业产品?
Qwen3-TTS、VoxCPM2、Fun-CosyVoice3、ZONOS3-Mini、Maya 2 Native、VieNeu-TTS v3、MOSS-TTS、MOSS-TTSD、MOSS-TTS-Nano、Kokoro 和 Phonon 31M 采用 Apache 2.0。OmniVoice 和 Voxtral TTS 的权重是 CC BY-NC,只能非商业使用。Higgs TTS 3 也是研究与非商业许可,只有一个例外:创作者在自己的渠道发布播客、视频和有声书,只要署名 Boson 就可以变现,但做产品或托管服务需要付费许可。Fish Audio 的 S2 Pro 同样是研究与非商业许可,任何商业使用都需要 Fish Audio 的单独许可。VibeVoice 是 MIT,但仅限研究用途。LFM3-Audio 只有年营收低于 1000 万美元时才可免费商用,Drama 3 则只有低于 50 万美元时才可以,而且无论规模都不能用来提供托管的声音服务。
文字转语音模型需要多大的 GPU 内存?
和语言模型相比不算大。OpenBMB 称 VoxCPM2 大约 8 GB 显存就能运行。按我们的估算,4B 的 Voxtral TTS 在 BF16 下约需 9 GB,0.5B 的模型约需 1 到 2 GB。8B 的 MOSS-TTS 在 BF16 下权重有 17.0 GB,所以需要比这更大的 GPU 显存。Fish Audio 的 4.6B 模型 S2 Pro 要求至少 24 GB 显存,Drama 3 是体量大的例外:FP8 权重 41.5 GB,需要约 48 GB 的 GPU。
哪些开源文字转语音模型能在 CPU 上运行?
据各自开发者介绍,Kokoro(82M)、Pocket TTS(100M)、Phonon 31M、Supertonic 3(99M)、MOSS-TTS-Nano(100M)和 VieNeu-TTS v3(131M,越南语和英语)都小到可以在笔记本 CPU 上运行。Kokoro、Phonon 31M、MOSS-TTS-Nano 和 VieNeu-TTS v3 采用 Apache 2.0,Pocket TTS 能克隆声音,但权重需要授权才能下载,Supertonic 3 已被归档。
有支持中文方言的开源模型吗?
Fun-CosyVoice3 支持 9 种语言和 18 种以上的中文方言,VoxCPM2 的 30 种语言里也包含中文方言。请测试你自己的方言,因为不同语言的质量并不相同。

本文关键术语

  • 基准测试(Benchmark) 基准测试是用来比较模型的标准化测试,例如一组数学、编程或知识问题;分数有参考价值,但很容易被过度解读。
  • 非商业许可证 非商业许可证允许你把模型用于研究、学习和个人项目,但不允许用它赚钱。
  • 端侧 AI(On-device AI) 端侧 AI 指模型在你自己的手机、笔记本或小型开发板上运行,而不是在云端,所以数据留在本地,也能离线使用。
  • OpenRAIL(负责任 AI 许可证) OpenRAIL 是一类许可证:允许你使用、修改和分享模型,包括商用,但要求每一份副本和衍生模型都附带一份禁止用途清单。
  • 文字转语音(TTS) 文字转语音模型把文字转成语音,许多模型还能用一小段样音复制某个声音。
  • 声音克隆 声音克隆让文字转语音模型用某个人的声音说话,往往只需几秒钟的录音。

本文提到的模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Qwen3-TTS Alibaba Qwen 910M – 1.92B – Apache 2.0 (宽松) 3.68 GB 笔记本或手机
VoxCPM2 OpenBMB 2.29B – Apache 2.0 (宽松) 8 GB 笔记本或手机
Fun-CosyVoice 3 Tongyi Lab Speech Team 500M – Apache 2.0 (宽松) 6.21 GB 笔记本或手机
ZONOS3-Mini Zyphra 800M 激活 100M – Apache 2.0 (宽松) 10 GB 笔记本或手机
Maya 2 Native Maya Research 2.5B – Apache 2.0 (宽松) 5.75 GB 笔记本或手机
VieNeu-TTS v3 Phạm Nguyễn Ngọc Bảo (VieNeu-TTS) 48M – 131M – Apache 2.0 (宽松) 0.322 GB 笔记本或手机
MOSS-TTS OpenMOSS 4.55B – 8.49B – Apache 2.0 (宽松) 10 GB 笔记本或手机
MOSS-TTSD OpenMOSS 8.36B – Apache 2.0 (宽松) 19 GB 游戏显卡
MOSS-TTS-Nano OpenMOSS 100M – Apache 2.0 (宽松) 0.276 GB 笔记本或手机
Drama 3 Fish Audio 35.9B 激活 3B – Fish Audio Community 1.0 (附条件) 25 GB 游戏显卡
S2 Pro Fish Audio 4.56B – Fish Audio Research (非商用) 24 GB 游戏显卡
Higgs TTS 3 Boson AI 4.65B – Boson Higgs Non-Commercial (非商用) 11 GB 笔记本或手机
OmniVoice Xiaomi 613M – CC BY-NC (非商用) 3.75 GB 笔记本或手机
Voxtral TTS Mistral AI 4.09B – CC BY-NC (非商用) 9.2 GB 笔记本或手机
VibeVoice-TTS Microsoft 1.02B – 2.7B 64K MIT (宽松) 2.35 GB 笔记本或手机
Kokoro hexgrad 82M – Apache 2.0 (宽松) 0.38 GB 笔记本或手机
Pocket TTS Kyutai 18M – 100M – CC BY 4.0 (宽松) 0.127 GB 笔记本或手机