ZONOS3-Mini:支持 43 种语言、能在浏览器里运行的开源 TTS

Zyphra 在 11 月 9 日发布了 ZONOS3-Mini:8 亿参数的混合专家文字转语音模型,激活参数 1 亿,支持 43 种语言和声音克隆,权重采用 Apache 2.0。

  • 新发布
  • 阅读约 3 分钟
  • 发布于

旧金山 AI 实验室 Zyphra 在 2026 年 11 月 9 日以 Apache 2.0 许可证发布了 ZONOS3-Mini。这是一个文字转语音模型,支持 43 种语言,可以用最长 60 秒的参考音频克隆声音。

有什么新内容

ZONOS3-Mini 是混合专家模型,总参数 8 亿,每个 token 约激活 1 亿。Zyphra 把它设计成能在手机和笔记本上运行,包括通过 WebGPU 在浏览器标签页里运行。语言模型以每秒 15 帧预测 Zyphra 自研编解码器 ZAC-1 的音频帧,因果解码器边生成边渲染出 44.1 kHz 的音频。单次生成最长可达 10 分钟。除了声音克隆,它还能控制年龄、性别、口音和音色,把语速、情绪和表达方式的引导精确到单个词,并有一个可以改写已生成句子中一部分的编辑模型。

Zyphra 报告,在一块 H100 GPU 上 8 个并发请求时,首个音频的延迟中位数为 80 ms;在浏览器里,Pixel 9 上低于 570 ms,M3 MacBook Air 上低于 150 ms。在它自己的 Zyphra TTS Capability Index 上(由包含 55 个语言子集的 ZTTS2-Eval 基准构建),ZONOS3-Mini 在开源模型中排名第一,领先于 Fish Audio S2 Pro 和 MOSS TTS v1.5。基准和指数都是 Zyphra 自己的。

运行它

语言模型的 BF16 权重为 1.8 GB,CUDA 服务器需要的 PyTorch 权重(包含音频编解码器)约 9 GB。Hugging Face 仓库约 31 GB,因为里面还有训练文件,每种运行时只需要其中特定的文件。Zyphra 提供的运行时包括:在 NVIDIA GPU 上使用 SGLang-Omni,在 Apple Silicon 上使用 MLX,在 CPU、CUDA、Metal 和 Vulkan 上使用 C++ 服务器,在浏览器里使用 WebGPU。它还通过 Zyphra Cloud 销售托管版本。

许可证

权重采用 Apache 2.0,所以没有营收上限,也不禁止把模型作为托管服务提供,这一点不同于 Fish Audio 的 Drama 3,后者两者都有。不过 Apache 2.0 不会改变关于同意的规则:未经许可克隆真人的声音可能违法或有害。文本规范化只覆盖九种语言,所以其他语言里的数字和缩写可能读错。

为什么重要

ZONOS3-Mini 补上了一个条款朴素、能在浏览器里运行的克隆模型,而 Kokoro 只有 8 种语言的固定音色,Pocket TTS 的克隆只支持 6 种语言。它也是全新的模型,缺少使用记录,排名来自 Zyphra 自己的基准。选择之前,请先用你的语言和声音试听。

想了解更多,请阅读如何选择开源文字转语音(TTS)模型,或者查看 ZONOS3-Mini 与 Drama 3 对比。

来源

本文涉及的模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
ZONOS3-Mini Zyphra 800M 激活 100M – Apache 2.0 (宽松) 10 GB 笔记本或手机
Drama 3 Fish Audio 35.9B 激活 3B – Fish Audio Community 1.0 (附条件) 25 GB 游戏显卡
Kokoro hexgrad 82M – Apache 2.0 (宽松) 0.38 GB 笔记本或手机
Pocket TTS Kyutai 18M – 100M – CC BY 4.0 (宽松) 0.127 GB 笔记本或手机