最佳开源语音模型:语音转文字与文字转语音

语音模型把音频转成文字,也把文字转成音频,而且大多小到笔记本就能运行。本页同时涵盖这两个方向。我们另有专门的文字转语音和语音识别榜单,对每个方向讲得更细。请务必抽查转写结果,并谨慎对待声音克隆:未经许可使用他人的声音可能违法。

  • 榜单更新于 2026年11月11日
  1. Nemotron 3.5 Transcribe

    NVIDIA 的语音转文字模型,支持 40 种语言、说话人标注、翻译和由提示词控制的转写风格,采用宽松的 OpenMDW 许可证。它处理的是录制好的音频,而不是实时流。

    • NVIDIA
    • 34B (激活 4.3B)
    • 64K token
    • OpenMDW-1.1 (宽松)
    • 约 25 GB 起
  2. Whisper large-v3-turbo

    OpenAI 的 MIT 许可语音识别模型。turbo 版本比 large 快约 8 倍,大约需要 6 GB 显存。它可能凭空生成没有说过的文字,所以重要的转写请核对。

    • OpenAI
    • 1.54B
    • MIT (宽松)
    • 约 6 GB 起
  3. Qwen3-ASR

    阿里巴巴的 Apache 2.0 语音转文字组合(1.7B 和 0.6B):支持 30 种语言和 22 种中文方言,能转写歌声,支持流式输出和时间戳。

    • Alibaba Qwen
    • 2.35B
    • Apache 2.0 (宽松)
    • 约 2.12 GB 起
  4. Cohere Transcribe

    Cohere 的 Apache 2.0 2B 模型,只做转写:支持 14 种语言,没有时间戳、说话人标签和自动语言识别。

    • Cohere
    • 2.07B
    • Apache 2.0 (宽松)
    • 约 4.75 GB 起
  5. Voxtral Realtime

    Mistral 的 Apache 2.0 4B 流式语音转文字模型:支持 13 种语言,延迟可在 80 毫秒到 2.4 秒之间设定,适合实时使用。

    • Mistral AI
    • 4.43B
    • 128K token
    • Apache 2.0 (宽松)
    • 约 10 GB 起
  6. Confucius4-R2T2

    网易有道的中英文流式语音转文字模型,基于 Qwen3-ASR-1.7B 改造。已确认的文字不会再被修改,月活跃用户超过 1 亿或年营收超过 10 亿元人民币时需要另行协议。

    • NetEase Youdao
    • 2.04B
    • NetEase Youdao Model Use (附条件)
    • 约 4.69 GB 起
  7. Qwen3-TTS

    阿里的 Apache 2.0 文本转语音模型家族,有 1.7B 和 0.6B 两种规格:支持 10 种语言,用约 3 秒音频克隆声音,根据描述设计声音,流式延迟最低 97 毫秒。

    • Alibaba Qwen
    • 1.92B
    • Apache 2.0 (宽松)
    • 约 3.68 GB 起
  8. Kokoro 下载量最高

    hexgrad 的 Apache 2.0 82M 文字转语音模型,有 8 种语言的 54 个预设音色。截至 2026 年 11 月 11 日的 30 天内约有 1250 万次下载,是本站下载量最高的语音模型,但它不能克隆声音。

    • hexgrad
    • 82M
    • Apache 2.0 (宽松)
    • 约 0.38 GB 起
  9. VoxCPM2

    OpenBMB 的 2B、Apache 2.0 文字转语音模型:支持 30 种语言,可以用文字描述设计声音,支持克隆和 48 kHz 输出,显存约 8 GB。

    • OpenBMB
    • 2.29B
    • Apache 2.0 (宽松)
    • 约 8 GB 起
  10. IndexTTS-2.5

    Bilibili 的 0.8B 零样本声音克隆模型,支持中、英、日、西、阿拉伯语,情感、发音和语速可分别控制,显存约 6 GB。它的自有许可证没有对商用的一般性禁令,但设有 1 亿用户和 10 亿元人民币营收的门槛。

    • Bilibili
    • 800M
    • Bilibili Model Use (附条件)
    • 约 6 GB 起
  11. AuK

    腾讯的 MIT 许可证 1.5B 模型,把语音生成、编辑、增强和分离都当作书面指令来处理。峰值内存是 bf16 下约 25 GiB,启用 CPU 卸载后约 17 GiB。

    • Tencent
    • 1.5B
    • MIT (宽松)
    • 约 18 GB 起
  12. ZONOS3-Mini

    Zyphra 的 Apache 2.0 8 亿参数文字转语音模型,支持 43 种语言的声音克隆,2026 年 11 月 9 日发布。Zyphra 称它能在笔记本、手机和浏览器里实时运行。

    • Zyphra
    • 800M (激活 100M)
    • Apache 2.0 (宽松)
    • 约 10 GB 起
  13. Pocket TTS

    Kyutai 的 1 亿参数文字转语音模型,支持声音克隆,在笔记本 CPU 上比实时更快。权重是 CC BY 4.0,设有禁止用途的访问声明。

    • Kyutai
    • 100M
    • CC BY 4.0 (宽松)
    • 约 0.127 GB 起
  14. Drama 3

    Fish Audio 的 360 亿参数文字转语音混合专家模型,支持 83 种语言,可以在文本里写表演指令。许可证仅在年营收低于 50 万美元时免费,无论规模都不覆盖托管的声音服务。

    • Fish Audio
    • 35.9B (激活 3B)
    • Fish Audio Community 1.0 (附条件)
    • 约 25 GB 起
  15. OmniVoice

    小米的文字转语音模型,覆盖 600 多种语言,支持克隆和声音设计。代码是 Apache 2.0,但权重是 CC BY-NC,只能非商业使用。

    • Xiaomi
    • 613M
    • CC BY-NC (非商用)
    • 约 3.75 GB 起
  16. LFM3-Audio-2B

    Liquid AI 的 2B 端侧语音模型:语音输入输出、转写、合成和翻译,覆盖 18 种语言。许可证仅在营收低于 1000 万美元时免费。

    • Liquid AI
    • 2B
    • 32K token
    • LFM Open 1.0 (附条件)
    • 约 4.6 GB 起
  17. Sophon-Realtime

    Adventists AI 的开放全双工语音模型,2026 年 11 月 8 日发布,采用 Apache 2.0:32B 思考模块在你说话时一直在听,能处理打断,回复里还能笑或叹气,有三个版本,首音频约 0.25 到 0.6 秒。它需要一张 80 GB 显卡,基准数字是开发方自己的。

    • Adventists AI
    • 32B
    • Apache 2.0 (宽松)
    • 约 80 GB 起

我们如何筛选

  • 开放权重的语音识别、语音合成或两者兼备的模型。
  • 完整阅读许可证条款,并注明声音克隆和营收方面的条件。
  • 语言数量和延迟数字都是开发者自己的说法。