Fun-CosyVoice 3

阿里通义的 Apache 2.0 0.5B 零样本语音合成:9 种语言、18 种以上中文方言、声音克隆,流式延迟低至 150 毫秒。

一句话概括. Fun-CosyVoice 3 能用九种语言和 18 种以上中文方言朗读文本,还能根据几秒钟的样本音频克隆声音。它支持流式输出,文本还在到来时就能开始发声,延迟低至 150 毫秒。0.5B 参数、Apache 2.0 许可证,容易运行,也可以商用。

概述

阿里通义实验室的语音团队于 2025 年 12 月 15 日以 Apache 2.0 许可证开源 Fun-CosyVoice3-0.5B-2512。它是 CosyVoice 的第三代,论文《CosyVoice 3: Towards In-the-wild Speech Generation via Scaling-up and Post-training》(arXiv 2505.17589)介绍了它。这是基于大语言模型的合成器:语言模型生成语音 token,再由流匹配模型和声码器把它们变成音频。论文介绍了用多个任务(语音识别、情感识别、语种识别、音频事件检测和说话人分析)训练的新语音分词器、用于后训练的可微分奖励方法,以及扩大到 100 万小时、覆盖 9 种语言和 18 种中文方言的训练数据。论文还涉及一个 1.5B 模型,但通义的发布公告和仓库只开放了 0.5B 的版本。

模型卡列出 9 种语言(中文、英语、日语、韩语、德语、西班牙语、法语、意大利语和俄语)、18 种以上中文方言和口音,以及多语言和跨语言零样本声音克隆。它支持用中文拼音和英文 CMU 音素做发音修正、对数字和符号做文本规范化,以及对语言、方言、情感、语速和音量的指令控制。它的双向流式模式接受流式文本并输出流式音频,延迟低至 150 毫秒。仓库里同时包含基础检查点和经过强化学习后训练的检查点。

在模型卡自己的对比表中,RL 版本在其中文测试集上的字错误率为 0.81%,在英文测试集上的词错误率为 1.68%,基础版本分别为 1.21% 和 2.24%。这些是开发者自己运行的结果。Hugging Face 仓库约 9.8 GB,因为里面还有 RL 检查点和 ONNX 副本;据我们统计,基础模型所需的文件合计约 5.4 GB。

适合做什么

  • 中文和中英混合的语音生成,包括地方方言
  • 用几秒钟参考音频做零样本声音克隆
  • 需要流式文本输入和流式音频输出的实时语音智能体
  • 商业产品,因为许可证是 Apache 2.0

需要注意

  • 只开放了 0.5B 模型,没有开放论文中的 1.5B 模型
  • 仓库很大,约 9.8 GB,因为包含多个检查点和 ONNX 副本
  • 基准数字来自开发者自己的表格
  • 克隆真人的声音需要本人同意

性能数据来自开发方,未经独立验证。

需要多少内存?

以下是 Fun-CosyVoice 3 各版本的内存数据。图像、视频、语音和音乐管线还要加载文本编码器和解码器,所以所需内存可能比主检查点更大。

版本 参数量 下载大小 所需内存 可运行于
Fun-CosyVoice3-0.5B-2512 FP32 500M 5.4 GB 6.21 GB 笔记本或手机

下载大小包含运行模型所需的全部组件,例如生成器、文本编码器和解码器。所需内存优先采用开发方声明或已公开的实测最低值;没有时按下载大小加约 15% 估算。更大的图像、更长的片段和更高的分辨率需要更多内存。

许可证,用大白话说

最常见的宽松型许可证之一。你可以使用、修改模型并基于它销售产品,只需遵守少量条件。

进一步了解 Apache 2.0

延伸阅读

常见问题

Fun-CosyVoice 3 是什么?
Fun-CosyVoice 3 能用九种语言和 18 种以上中文方言朗读文本,还能根据几秒钟的样本音频克隆声音。它支持流式输出,文本还在到来时就能开始发声,延迟低至 150 毫秒。0.5B 参数、Apache 2.0 许可证,容易运行,也可以商用。
Fun-CosyVoice 3 可以商用吗?
可以。Fun-CosyVoice 3 采用 Apache 2.0 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
Fun-CosyVoice 3 是开源的吗?
Fun-CosyVoice 3 采用 Apache 2.0 发布,该许可证经开源促进会(OSI)认可。训练数据和训练代码不一定公开,因此更准确的说法是“采用开源许可证的开放权重模型”。
我能在自己的电脑上运行 Fun-CosyVoice 3 吗?
可以。最小版本 Fun-CosyVoice3-0.5B-2512 在 4 位精度下约需 6.21 GB 内存,现代笔记本或中端显卡即可胜任。
Fun-CosyVoice 3 是什么时候发布的?
Fun-CosyVoice 3 由 Tongyi Lab Speech Team 于 2025年12月15日 发布。

官方链接

来源

规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。

发布时间等信息最近核实于 2026年11月11日。

相关模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Qwen3-TTS Alibaba Qwen 910M – 1.92B – Apache 2.0 (宽松) 3.68 GB 笔记本或手机
VoxCPM2 OpenBMB 2.29B – Apache 2.0 (宽松) 8 GB 笔记本或手机
OmniVoice Xiaomi 613M – CC BY-NC (非商用) 3.75 GB 笔记本或手机
Chatterbox Resemble AI 500M – MIT (宽松) 3.69 GB 笔记本或手机