S2 Pro

Fish Audio 的 4.6B 文字转语音模型,支持自由形式的行内标签,凭 10 到 30 秒音频克隆声音。仅限研究和非商业。

一句话概括. S2 Pro 把文字念出来,你可以在方括号里写表演指示,比如 [whisper] 或 [laughing],还能从 10 到 30 秒的音频里复制一个声音。它需要 24 GB 显存的 GPU,许可证只覆盖研究和非商业用途,除非 Fish Audio 另行授予商业许可。

概述

Fish Audio 于 2026 年 3 月 9 日以开放权重发布 S2 Pro,10 月发布 Drama 3 之后,它的 GitHub 页面现在把 S2 Pro 称为上一代旗舰。它是双自回归(dual-autoregressive)的文字转语音模型:一个 4B 的“慢速”Transformer 沿时间轴预测主要的语义码本,一个 400M 的“快速”Transformer 在每一步补全 RVQ 音频编解码器的其余 9 个残差码本,合计 45.6 亿参数(BF16),另有 1.9 GB 的编解码器。它不用固定的标签列表,而是接受方括号里的自由形式指令,例如 [whisper in small voice] 或 [professional broadcast tone],模型卡称支持超过 1.5 万种不同的标签。它还支持用说话人 ID 做多人对话,以及凭 10 到 30 秒的参考音频克隆声音。模型卡称它用超过 1000 万小时的音频训练,覆盖 80 多种语言,日语、英语和中文为第一梯队。

Fish Audio 报告,Seed-TTS Eval 的词错误率中文为 0.54%、英文为 0.99%,称这是它所测系统中最好的,其中 Qwen3-TTS 为 0.77 和 1.24。它还报告 Audio Turing Test 得分 0.515,Seed-TTS 为 0.417;在 EmergentTTS-Eval 上对 gpt-4o-mini-tts 基线的胜率为 81.88%;在 MiniMax 多语言测试集上 24 种语言中有 11 种词错误率最好,17 种说话人相似度最好。这些都是 Fish Audio 自己的结果。在一块 NVIDIA H200 上,模型卡给出的实时率为 0.195,首个音频约 100 毫秒,在实时率低于 0.5 的情况下每秒超过 3000 个声学 token。

Fish Audio 的安装指南要求至少 24 GB 显存,NVIDIA GPU 或 CPU,Linux 或 WSL,并建议用 SGLang-Omni 和 vLLM-Omni 提供服务。文件总共约 11 GB。许可证是 Fish Audio Research License Agreement,允许研究和非商业用途,任何商业用途(包括企业内部使用)都需要单独的书面许可。Drama 3 则使用更宽松的 Fish Audio Community License。截至 2026 年 11 月 11 日的 30 天内,Hugging Face 统计约有 4.7 万次下载,仓库约有 1500 个点赞。

适合做什么

  • 研究、个人爱好项目,以及评估带有行内情感和语气标签的富有表现力的文字转语音
  • 用说话人 ID 和 10 到 30 秒克隆的声音,为多人对话和广播剧做原型
  • 日语、英语、中文和许多其他语言的语音,使用前先测试你需要的语言
  • 一块 24 GB 的 NVIDIA GPU(指南也列出了 CPU),而不是 Drama 3 所要求的 48 GB

需要注意

  • 没有 Fish Audio 的单独书面许可就不能商用,包括你自己公司的内部使用、付费产品以及托管服务或 API
  • 不得用权重和输出来训练其他基础模型,并且适用 Fish Audio 的可接受使用政策
  • Fish Audio 给出了三种语言数量:博客引言说约 50 种,模型卡说 80 多种,GitHub README 说约一百种,所以在投入之前先测试你的语言
  • 所有基准数字都是 Fish Audio 自己的,并且 Fish Audio 称 Drama 3 增加了 S2 Pro 不支持的局部编辑和多轮修改
  • 模型卡没有提到克隆声音的同意问题,也没有提到水印,所以标注和同意由你负责

性能数据来自开发方,未经独立验证。

需要多少内存?

以下是 S2 Pro 各版本的内存数据。图像、视频、语音和音乐管线还要加载文本编码器和解码器,所以所需内存可能比主检查点更大。

版本 参数量 下载大小 所需内存 可运行于
S2 Pro BF16 4.56B 11 GB 24 GB 游戏显卡

下载大小包含运行模型所需的全部组件,例如生成器、文本编码器和解码器。所需内存优先采用开发方声明或已公开的实测最低值;没有时按下载大小加约 15% 估算。更大的图像、更长的片段和更高的分辨率需要更多内存。 开发方给出的最低显存要求为 24 GB。

许可证,用大白话说

Fish Audio 为 S2 Pro 权重提供的许可证,最后更新于 2026 年 3 月 7 日。研究和非商业用途免费,包括个人爱好项目、评估和测试。任何商业用途,包括你自己组织的内部运营,都需要 Fish Audio 的单独书面授权。如果你分享权重或衍生模型,需要附上协议,保留署名 39 AI, Inc. 的声明,并标示“Built with Fish Audio”。

  • 需要署名或标明模型名称
  • 须遵守可接受使用政策

进一步了解 Fish Audio Research

延伸阅读

常见问题

S2 Pro 是什么?
S2 Pro 把文字念出来,你可以在方括号里写表演指示,比如 [whisper] 或 [laughing],还能从 10 到 30 秒的音频里复制一个声音。它需要 24 GB 显存的 GPU,许可证只覆盖研究和非商业用途,除非 Fish Audio 另行授予商业许可。
S2 Pro 可以商用吗?
未经另行授权不可商用。S2 Pro 采用 Fish Audio Research 发布,仅允许研究和个人使用。
S2 Pro 是开源的吗?
S2 Pro 是开放权重模型,但不是严格意义上的开源。你可以下载模型文件,但 Fish Audio Research 附带了开源促进会的定义所不允许的条件。
我能在自己的电脑上运行 S2 Pro 吗?
可以,但需要一块好显卡。最小版本 S2 Pro 在 4 位精度下约需 24 GB 内存,适合 24 至 32 GB 的游戏显卡,或 32 GB 及以上内存的 Mac。
S2 Pro 是什么时候发布的?
S2 Pro 由 Fish Audio 于 2026年3月9日 发布。

官方链接

来源

规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。

发布时间等信息最近核实于 2026年11月11日。

相关模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Drama 3 Fish Audio 35.9B 激活 3B – Fish Audio Community 1.0 (附条件) 25 GB 游戏显卡
Qwen3-TTS Alibaba Qwen 910M – 1.92B – Apache 2.0 (宽松) 3.68 GB 笔记本或手机
Higgs TTS 3 Boson AI 4.65B – Boson Higgs Non-Commercial (非商用) 11 GB 笔记本或手机
OmniVoice Xiaomi 613M – CC BY-NC (非商用) 3.75 GB 笔记本或手机