S2 Pro
Fish Audio 的 4.6B 文字转语音模型,支持自由形式的行内标签,凭 10 到 30 秒音频克隆声音。仅限研究和非商业。
一句话概括. S2 Pro 把文字念出来,你可以在方括号里写表演指示,比如 [whisper] 或 [laughing],还能从 10 到 30 秒的音频里复制一个声音。它需要 24 GB 显存的 GPU,许可证只覆盖研究和非商业用途,除非 Fish Audio 另行授予商业许可。
概述
Fish Audio 于 2026 年 3 月 9 日以开放权重发布 S2 Pro,10 月发布 Drama 3 之后,它的 GitHub 页面现在把 S2 Pro 称为上一代旗舰。它是双自回归(dual-autoregressive)的文字转语音模型:一个 4B 的“慢速”Transformer 沿时间轴预测主要的语义码本,一个 400M 的“快速”Transformer 在每一步补全 RVQ 音频编解码器的其余 9 个残差码本,合计 45.6 亿参数(BF16),另有 1.9 GB 的编解码器。它不用固定的标签列表,而是接受方括号里的自由形式指令,例如 [whisper in small voice] 或 [professional broadcast tone],模型卡称支持超过 1.5 万种不同的标签。它还支持用说话人 ID 做多人对话,以及凭 10 到 30 秒的参考音频克隆声音。模型卡称它用超过 1000 万小时的音频训练,覆盖 80 多种语言,日语、英语和中文为第一梯队。
Fish Audio 报告,Seed-TTS Eval 的词错误率中文为 0.54%、英文为 0.99%,称这是它所测系统中最好的,其中 Qwen3-TTS 为 0.77 和 1.24。它还报告 Audio Turing Test 得分 0.515,Seed-TTS 为 0.417;在 EmergentTTS-Eval 上对 gpt-4o-mini-tts 基线的胜率为 81.88%;在 MiniMax 多语言测试集上 24 种语言中有 11 种词错误率最好,17 种说话人相似度最好。这些都是 Fish Audio 自己的结果。在一块 NVIDIA H200 上,模型卡给出的实时率为 0.195,首个音频约 100 毫秒,在实时率低于 0.5 的情况下每秒超过 3000 个声学 token。
Fish Audio 的安装指南要求至少 24 GB 显存,NVIDIA GPU 或 CPU,Linux 或 WSL,并建议用 SGLang-Omni 和 vLLM-Omni 提供服务。文件总共约 11 GB。许可证是 Fish Audio Research License Agreement,允许研究和非商业用途,任何商业用途(包括企业内部使用)都需要单独的书面许可。Drama 3 则使用更宽松的 Fish Audio Community License。截至 2026 年 11 月 11 日的 30 天内,Hugging Face 统计约有 4.7 万次下载,仓库约有 1500 个点赞。
适合做什么
- 研究、个人爱好项目,以及评估带有行内情感和语气标签的富有表现力的文字转语音
- 用说话人 ID 和 10 到 30 秒克隆的声音,为多人对话和广播剧做原型
- 日语、英语、中文和许多其他语言的语音,使用前先测试你需要的语言
- 一块 24 GB 的 NVIDIA GPU(指南也列出了 CPU),而不是 Drama 3 所要求的 48 GB
需要注意
- 没有 Fish Audio 的单独书面许可就不能商用,包括你自己公司的内部使用、付费产品以及托管服务或 API
- 不得用权重和输出来训练其他基础模型,并且适用 Fish Audio 的可接受使用政策
- Fish Audio 给出了三种语言数量:博客引言说约 50 种,模型卡说 80 多种,GitHub README 说约一百种,所以在投入之前先测试你的语言
- 所有基准数字都是 Fish Audio 自己的,并且 Fish Audio 称 Drama 3 增加了 S2 Pro 不支持的局部编辑和多轮修改
- 模型卡没有提到克隆声音的同意问题,也没有提到水印,所以标注和同意由你负责
性能数据来自开发方,未经独立验证。
需要多少内存?
以下是 S2 Pro 各版本的内存数据。图像、视频、语音和音乐管线还要加载文本编码器和解码器,所以所需内存可能比主检查点更大。
| 版本 | 参数量 | 下载大小 | 所需内存 | 可运行于 |
|---|---|---|---|---|
| S2 Pro BF16 | 4.56B | 11 GB | 24 GB | 游戏显卡 |
下载大小包含运行模型所需的全部组件,例如生成器、文本编码器和解码器。所需内存优先采用开发方声明或已公开的实测最低值;没有时按下载大小加约 15% 估算。更大的图像、更长的片段和更高的分辨率需要更多内存。 开发方给出的最低显存要求为 24 GB。
许可证,用大白话说
Fish Audio 为 S2 Pro 权重提供的许可证,最后更新于 2026 年 3 月 7 日。研究和非商业用途免费,包括个人爱好项目、评估和测试。任何商业用途,包括你自己组织的内部运营,都需要 Fish Audio 的单独书面授权。如果你分享权重或衍生模型,需要附上协议,保留署名 39 AI, Inc. 的声明,并标示“Built with Fish Audio”。
- 需要署名或标明模型名称
- 须遵守可接受使用政策
延伸阅读
常见问题
- S2 Pro 是什么?
- S2 Pro 把文字念出来,你可以在方括号里写表演指示,比如 [whisper] 或 [laughing],还能从 10 到 30 秒的音频里复制一个声音。它需要 24 GB 显存的 GPU,许可证只覆盖研究和非商业用途,除非 Fish Audio 另行授予商业许可。
- S2 Pro 可以商用吗?
- 未经另行授权不可商用。S2 Pro 采用 Fish Audio Research 发布,仅允许研究和个人使用。
- S2 Pro 是开源的吗?
- S2 Pro 是开放权重模型,但不是严格意义上的开源。你可以下载模型文件,但 Fish Audio Research 附带了开源促进会的定义所不允许的条件。
- 我能在自己的电脑上运行 S2 Pro 吗?
- 可以,但需要一块好显卡。最小版本 S2 Pro 在 4 位精度下约需 24 GB 内存,适合 24 至 32 GB 的游戏显卡,或 32 GB 及以上内存的 Mac。
- S2 Pro 是什么时候发布的?
- S2 Pro 由 Fish Audio 于 2026年3月9日 发布。
官方链接
来源
规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。
- Fish Audio S2 Pro model card (Hugging Face) huggingface.co
- Fish Audio Open-Sources S2: Fine-Grained Control Meets Production Streaming (Fish Audio blog, 9 Mar 2026) fish.audio
- Fish Audio S2 Technical Report (arXiv 2603.08823) arxiv.org
- Fish Audio Research License Agreement (Hugging Face) huggingface.co
- Fish Speech installation requirements speech.fish.audio
发布时间等信息最近核实于 2026年11月11日。
相关模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| Drama 3 Fish Audio | 35.9B 激活 3B | – | Fish Audio Community 1.0 (附条件) | 25 GB 游戏显卡 | |
| Qwen3-TTS Alibaba Qwen | 910M – 1.92B | – | Apache 2.0 (宽松) | 3.68 GB 笔记本或手机 | |
| Higgs TTS 3 Boson AI | 4.65B | – | Boson Higgs Non-Commercial (非商用) | 11 GB 笔记本或手机 | |
| OmniVoice Xiaomi | 613M | – | CC BY-NC (非商用) | 3.75 GB 笔记本或手机 |