Fun-CosyVoice 3
阿里通义的 Apache 2.0 0.5B 零样本语音合成:9 种语言、18 种以上中文方言、声音克隆,流式延迟低至 150 毫秒。
一句话概括. Fun-CosyVoice 3 能用九种语言和 18 种以上中文方言朗读文本,还能根据几秒钟的样本音频克隆声音。它支持流式输出,文本还在到来时就能开始发声,延迟低至 150 毫秒。0.5B 参数、Apache 2.0 许可证,容易运行,也可以商用。
概述
阿里通义实验室的语音团队于 2025 年 12 月 15 日以 Apache 2.0 许可证开源 Fun-CosyVoice3-0.5B-2512。它是 CosyVoice 的第三代,论文《CosyVoice 3: Towards In-the-wild Speech Generation via Scaling-up and Post-training》(arXiv 2505.17589)介绍了它。这是基于大语言模型的合成器:语言模型生成语音 token,再由流匹配模型和声码器把它们变成音频。论文介绍了用多个任务(语音识别、情感识别、语种识别、音频事件检测和说话人分析)训练的新语音分词器、用于后训练的可微分奖励方法,以及扩大到 100 万小时、覆盖 9 种语言和 18 种中文方言的训练数据。论文还涉及一个 1.5B 模型,但通义的发布公告和仓库只开放了 0.5B 的版本。
模型卡列出 9 种语言(中文、英语、日语、韩语、德语、西班牙语、法语、意大利语和俄语)、18 种以上中文方言和口音,以及多语言和跨语言零样本声音克隆。它支持用中文拼音和英文 CMU 音素做发音修正、对数字和符号做文本规范化,以及对语言、方言、情感、语速和音量的指令控制。它的双向流式模式接受流式文本并输出流式音频,延迟低至 150 毫秒。仓库里同时包含基础检查点和经过强化学习后训练的检查点。
在模型卡自己的对比表中,RL 版本在其中文测试集上的字错误率为 0.81%,在英文测试集上的词错误率为 1.68%,基础版本分别为 1.21% 和 2.24%。这些是开发者自己运行的结果。Hugging Face 仓库约 9.8 GB,因为里面还有 RL 检查点和 ONNX 副本;据我们统计,基础模型所需的文件合计约 5.4 GB。
适合做什么
- 中文和中英混合的语音生成,包括地方方言
- 用几秒钟参考音频做零样本声音克隆
- 需要流式文本输入和流式音频输出的实时语音智能体
- 商业产品,因为许可证是 Apache 2.0
需要注意
- 只开放了 0.5B 模型,没有开放论文中的 1.5B 模型
- 仓库很大,约 9.8 GB,因为包含多个检查点和 ONNX 副本
- 基准数字来自开发者自己的表格
- 克隆真人的声音需要本人同意
性能数据来自开发方,未经独立验证。
需要多少内存?
以下是 Fun-CosyVoice 3 各版本的内存数据。图像、视频、语音和音乐管线还要加载文本编码器和解码器,所以所需内存可能比主检查点更大。
| 版本 | 参数量 | 下载大小 | 所需内存 | 可运行于 |
|---|---|---|---|---|
| Fun-CosyVoice3-0.5B-2512 FP32 | 500M | 5.4 GB | 6.21 GB | 笔记本或手机 |
下载大小包含运行模型所需的全部组件,例如生成器、文本编码器和解码器。所需内存优先采用开发方声明或已公开的实测最低值;没有时按下载大小加约 15% 估算。更大的图像、更长的片段和更高的分辨率需要更多内存。
许可证,用大白话说
最常见的宽松型许可证之一。你可以使用、修改模型并基于它销售产品,只需遵守少量条件。
延伸阅读
常见问题
- Fun-CosyVoice 3 是什么?
- Fun-CosyVoice 3 能用九种语言和 18 种以上中文方言朗读文本,还能根据几秒钟的样本音频克隆声音。它支持流式输出,文本还在到来时就能开始发声,延迟低至 150 毫秒。0.5B 参数、Apache 2.0 许可证,容易运行,也可以商用。
- Fun-CosyVoice 3 可以商用吗?
- 可以。Fun-CosyVoice 3 采用 Apache 2.0 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
- Fun-CosyVoice 3 是开源的吗?
- Fun-CosyVoice 3 采用 Apache 2.0 发布,该许可证经开源促进会(OSI)认可。训练数据和训练代码不一定公开,因此更准确的说法是“采用开源许可证的开放权重模型”。
- 我能在自己的电脑上运行 Fun-CosyVoice 3 吗?
- 可以。最小版本 Fun-CosyVoice3-0.5B-2512 在 4 位精度下约需 6.21 GB 内存,现代笔记本或中端显卡即可胜任。
- Fun-CosyVoice 3 是什么时候发布的?
- Fun-CosyVoice 3 由 Tongyi Lab Speech Team 于 2025年12月15日 发布。
官方链接
来源
规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。
- Tongyi Lab: Fun-CosyVoice 3 major upgrade and open-source release (15 Dec 2025) tongyilab.substack.com
- Fun-CosyVoice3-0.5B-2512 model card (Hugging Face) huggingface.co
- CosyVoice repository (GitHub) github.com
- CosyVoice 3 paper (arXiv 2505.17589) arxiv.org
发布时间等信息最近核实于 2026年11月11日。
相关模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| Qwen3-TTS Alibaba Qwen | 910M – 1.92B | – | Apache 2.0 (宽松) | 3.68 GB 笔记本或手机 | |
| VoxCPM2 OpenBMB | 2.29B | – | Apache 2.0 (宽松) | 8 GB 笔记本或手机 | |
| OmniVoice Xiaomi | 613M | – | CC BY-NC (非商用) | 3.75 GB 笔记本或手机 | |
| Chatterbox Resemble AI | 500M | – | MIT (宽松) | 3.69 GB 笔记本或手机 |