最佳开源语音模型:语音转文字与文字转语音
语音模型把音频转成文字,也把文字转成音频,而且大多小到笔记本就能运行。本页同时涵盖这两个方向。我们另有专门的文字转语音和语音识别榜单,对每个方向讲得更细。请务必抽查转写结果,并谨慎对待声音克隆:未经许可使用他人的声音可能违法。
-
Nemotron 3.5 Transcribe
NVIDIA 的语音转文字模型,支持 40 种语言、说话人标注、翻译和由提示词控制的转写风格,采用宽松的 OpenMDW 许可证。它处理的是录制好的音频,而不是实时流。
-
Whisper large-v3-turbo
OpenAI 的 MIT 许可语音识别模型。turbo 版本比 large 快约 8 倍,大约需要 6 GB 显存。它可能凭空生成没有说过的文字,所以重要的转写请核对。
-
Qwen3-ASR
阿里巴巴的 Apache 2.0 语音转文字组合(1.7B 和 0.6B):支持 30 种语言和 22 种中文方言,能转写歌声,支持流式输出和时间戳。
-
Cohere Transcribe
Cohere 的 Apache 2.0 2B 模型,只做转写:支持 14 种语言,没有时间戳、说话人标签和自动语言识别。
-
Voxtral Realtime
Mistral 的 Apache 2.0 4B 流式语音转文字模型:支持 13 种语言,延迟可在 80 毫秒到 2.4 秒之间设定,适合实时使用。
-
Confucius4-R2T2
网易有道的中英文流式语音转文字模型,基于 Qwen3-ASR-1.7B 改造。已确认的文字不会再被修改,月活跃用户超过 1 亿或年营收超过 10 亿元人民币时需要另行协议。
-
Qwen3-TTS
阿里的 Apache 2.0 文本转语音模型家族,有 1.7B 和 0.6B 两种规格:支持 10 种语言,用约 3 秒音频克隆声音,根据描述设计声音,流式延迟最低 97 毫秒。
-
Kokoro 下载量最高
hexgrad 的 Apache 2.0 82M 文字转语音模型,有 8 种语言的 54 个预设音色。截至 2026 年 11 月 11 日的 30 天内约有 1250 万次下载,是本站下载量最高的语音模型,但它不能克隆声音。
-
VoxCPM2
OpenBMB 的 2B、Apache 2.0 文字转语音模型:支持 30 种语言,可以用文字描述设计声音,支持克隆和 48 kHz 输出,显存约 8 GB。
-
IndexTTS-2.5
Bilibili 的 0.8B 零样本声音克隆模型,支持中、英、日、西、阿拉伯语,情感、发音和语速可分别控制,显存约 6 GB。它的自有许可证没有对商用的一般性禁令,但设有 1 亿用户和 10 亿元人民币营收的门槛。
-
AuK
腾讯的 MIT 许可证 1.5B 模型,把语音生成、编辑、增强和分离都当作书面指令来处理。峰值内存是 bf16 下约 25 GiB,启用 CPU 卸载后约 17 GiB。
-
ZONOS3-Mini
Zyphra 的 Apache 2.0 8 亿参数文字转语音模型,支持 43 种语言的声音克隆,2026 年 11 月 9 日发布。Zyphra 称它能在笔记本、手机和浏览器里实时运行。
-
Pocket TTS
Kyutai 的 1 亿参数文字转语音模型,支持声音克隆,在笔记本 CPU 上比实时更快。权重是 CC BY 4.0,设有禁止用途的访问声明。
-
Drama 3
Fish Audio 的 360 亿参数文字转语音混合专家模型,支持 83 种语言,可以在文本里写表演指令。许可证仅在年营收低于 50 万美元时免费,无论规模都不覆盖托管的声音服务。
-
OmniVoice
小米的文字转语音模型,覆盖 600 多种语言,支持克隆和声音设计。代码是 Apache 2.0,但权重是 CC BY-NC,只能非商业使用。
-
LFM3-Audio-2B
Liquid AI 的 2B 端侧语音模型:语音输入输出、转写、合成和翻译,覆盖 18 种语言。许可证仅在营收低于 1000 万美元时免费。
-
Sophon-Realtime
Adventists AI 的开放全双工语音模型,2026 年 11 月 8 日发布,采用 Apache 2.0:32B 思考模块在你说话时一直在听,能处理打断,回复里还能笑或叹气,有三个版本,首音频约 0.25 到 0.6 秒。它需要一张 80 GB 显卡,基准数字是开发方自己的。
我们如何筛选
- 开放权重的语音识别、语音合成或两者兼备的模型。
- 完整阅读许可证条款,并注明声音克隆和营收方面的条件。
- 语言数量和延迟数字都是开发者自己的说法。