Pocket TTS

Kyutai 的 1 亿参数声音克隆语音模型,在笔记本 CPU 上比实时更快。六种语言,CC BY 4.0 权重,需先同意使用声明。

一句话概括. Pocket TTS 能朗读文字,还能用大约五秒的音频复制一个声音。它小到在普通笔记本的处理器上就能比实时更快地运行,不需要显卡。权重可以免费使用,只需署名 Kyutai,但你必须接受一份禁止未经同意克隆他人声音的声明。

概述

Pocket TTS 是 Kyutai 的文本转语音模型,Kyutai 是巴黎的非营利研究实验室,模型于 2026 年 1 月 13 日发布。它约有 1 亿参数,Kyutai 把它拆成 9000 万参数的生成器和 1000 万参数的音频解码器,另有一个 1800 万参数的编码器,每个声音样本只运行一次。它不预测离散的音频 token,而是每个 80 毫秒的帧预测一组连续的音频特征,再用源自 Mimi 编解码器的解码器还原成声音。这套方法来自 Kyutai 的 Continuous Audio Language Models 论文。按模型卡的说法,它能用约五秒的音频克隆声音,约 200 ms 后开始说话,在 MacBook Air M4 上只用两个 CPU 核心,速度约为实时的六倍。模型卡列出英语、法语、德语、葡萄牙语、意大利语和西班牙语,GitHub 的 README 还列出了荷兰语。

发布文章在 LibriSpeech test-clean 上把它与 F5-TTS、Kyutai 自家的 1.6B TTS、Chatterbox Turbo 和 Kokoro 做了对比。Pocket TTS 的词错误率最低,为 1.84%,与 1.6B 模型持平。在人工两两比较的评分中,它在音质上胜过 F5-TTS 和 1.6B 模型,但不及 Chatterbox Turbo;它的说话人相似度是四个声音克隆模型中最低的,Elo 为 1898,其余为 1946 到 2037。在对比的声音克隆模型里,只有它在测试笔记本的 CPU 上比实时更快。最初的英语模型只用了约 8.8 万小时的公开英语数据集训练。这些都是开发者自己的结果。

Kyutai 还在持续扩展。仓库里现在有按语言划分的模型,非英语语言还有更大的 24 层版本,训练代码在 2026 年 8 月发布。2026 年 10 月,Kyutai 发布了小得多的英语模型,参数量(含解码器)分别为 1820 万、690 万和 190 万,由一个 3 亿参数的教师模型缩小而来。在它自己的 LibriSpeech 测试中,1820 万参数的模型词错误率为 0.85%,已发布的 1 亿参数模型是 0.92%;在单个 CPU 线程上前者的速度是实时的 9.9 倍,后者是 2.8 倍。190 万参数的模型速度是实时的 25 倍,错误率为 1.72%。这些同样是 Kyutai 自己的测量结果。

许可证需要留意。代码是 MIT。Hugging Face 仓库里的权重标为 CC BY 4.0,但发布文章说 Pocket TTS 以 MIT 许可证发布,所以请核对你下载的那个仓库。该仓库是受限访问的:你要接受一份声明,其中禁止未经明确且合法同意的声音冒充或克隆、虚假信息和欺骗,以及违法或有害内容。预设音色来自多个数据集,各自有许可证,列在 Kyutai 的 kyutai/tts-voices 仓库里。另有一个不带克隆功能的仓库 kyutai/pocket-tts-without-voice-cloning,发布不含克隆功能的权重,不需要申请访问。

适合做什么

  • 在笔记本或小型服务器上,不用 GPU,用一小段样本克隆声音
  • 离线、私密的朗读、助手和游戏,因为约 200 ms 后音频就开始流式输出
  • 研究和微调,因为 Kyutai 发布了训练代码,第一个模型也只用公开数据集训练
  • 非常小的部署,可以用 2026 年 10 月发布的 1800 万参数及以下的英语模型

需要注意

  • 权重标为 CC BY 4.0,并设有禁止用途的访问门槛,而发布文章说是 MIT,请确认你所用仓库的条款
  • 每个预设音色都有自己的许可证,放进产品前先核对
  • 在 Kyutai 的测试中,它的说话人相似度不及 Chatterbox Turbo 和 Kyutai 自家更大的模型
  • 克隆会还原样本的音质,包括噪声,所以要先清理音频
  • 不能用文本里的静音插入停顿,GPU 运行也没有官方支持
  • 速度和质量数字都是开发者自己报告的

性能数据来自开发方,未经独立验证。

需要多少内存?

以下是 Pocket TTS 各版本的内存数据。图像、视频、语音和音乐管线还要加载文本编码器和解码器,所以所需内存可能比主检查点更大。

版本 参数量 下载大小 所需内存 可运行于
Pocket TTS 18M (English only) 18M 0.11 GB 0.127 GB 笔记本或手机
Pocket TTS 100M (six languages) 100M 0.22 GB 0.253 GB 笔记本或手机

下载大小包含运行模型所需的全部组件,例如生成器、文本编码器和解码器。所需内存优先采用开发方声明或已公开的实测最低值;没有时按下载大小加约 15% 估算。更大的图像、更长的片段和更高的分辨率需要更多内存。

许可证,用大白话说

一种知识共享许可证,只要署名,任何人都可以出于任何目的(包括商业用途)复制、分享和改编作品。它是为创作和数据类作品设计的,不是为软件设计的,但一些语音和数据发布也把它用在模型权重上。

  • 需要署名或标明模型名称

进一步了解 CC BY 4.0

延伸阅读

常见问题

Pocket TTS 是什么?
Pocket TTS 能朗读文字,还能用大约五秒的音频复制一个声音。它小到在普通笔记本的处理器上就能比实时更快地运行,不需要显卡。权重可以免费使用,只需署名 Kyutai,但你必须接受一份禁止未经同意克隆他人声音的声明。
Pocket TTS 可以商用吗?
可以。Pocket TTS 采用 CC BY 4.0 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
Pocket TTS 是开源的吗?
Pocket TTS 是开放权重模型,但不是严格意义上的开源。你可以下载模型文件,但 CC BY 4.0 附带了开源促进会的定义所不允许的条件。
我能在自己的电脑上运行 Pocket TTS 吗?
可以。最小版本 Pocket TTS 18M (English only) 在 4 位精度下约需 0.127 GB 内存,现代笔记本或中端显卡即可胜任。
Pocket TTS 是什么时候发布的?
Pocket TTS 由 Kyutai 于 2026年1月13日 发布。

官方链接

来源

规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。

发布时间等信息最近核实于 2026年11月11日。

相关模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Phonon 31M Gradium 31M – Apache 2.0 (宽松) 0.0747 GB 笔记本或手机
Kokoro hexgrad 82M – Apache 2.0 (宽松) 0.38 GB 笔记本或手机
Supertonic 3 Supertone 99M – OpenRAIL-M (附条件) 0.46 GB 笔记本或手机
MOSS-TTS-Nano OpenMOSS 100M – Apache 2.0 (宽松) 0.276 GB 笔记本或手机