OmniVoice

小米 Next-gen Kaldi 团队的 TTS,支持 600 多种语言、克隆和音色设计。代码是 Apache 2.0,但权重是 CC BY-NC。

一句话概括. OmniVoice 能把文字转成 600 多种语言的语音。它可以从一小段录音复制音色,也可以根据年龄、性别、口音等描述创造新音色。它速度很快,但可下载的模型仅限非商业使用。

概述

OmniVoice 来自小米的 Next-gen Kaldi(k2-fsa)语音团队,于 2026 年 4 月 1 日随论文发布。它是一个 0.6B 参数的模型,由 Qwen3-0.6B 初始化,采用类扩散语言模型的非自回归设计,把文字直接映射为音频 token,而不是一个 token 接一个 token 地生成。它在完全由开源数据构成的 58.1 万小时多语种数据集上训练,支持 600 多种语言,作者称这是所有零样本 TTS 模型中覆盖最广的。

它可以从一段参考音频克隆音色,也可以按性别、年龄、音高、口音等属性设计音色,并支持 [laughter] 之类的标签以及拼音或音素提示来纠正发音。声音克隆是最稳定的模式,而音色设计只用中文和英文训练。模型卡给出的实时因子低至 0.025,约比实时快 40 倍;GitHub 页面在 H100 上用 FlashInfer、批大小 8 测得 0.0115。输出是 24 kHz 音频。

许可证有个陷阱。代码是 Apache 2.0,但由于训练数据(如 Emilia)的限制,预训练模型采用 CC BY-NC,因此不能商用。作者还禁止未经授权的声音克隆和冒充。检查点是一个 3.3 GB 的 float32 文件,用 omnivoice Python 包安装运行环境。

适合做什么

  • 为其他模型没有覆盖的低资源语言做语音合成
  • 需要声音克隆或音色设计的研究和个人项目
  • 在单张 GPU 上快速批量生成

需要注意

  • 权重采用 CC BY-NC,不允许商用,尽管代码是 Apache 2.0
  • 音色设计只用中文和英文训练,在低资源语言上结果可能不稳定
  • 跨语言克隆会带上参考音频的口音
  • 作者禁止未经授权的声音克隆、冒充和欺诈

性能数据来自开发方,未经独立验证。

需要多少内存?

以下是 OmniVoice 各版本的内存数据。图像、视频、语音和音乐管线还要加载文本编码器和解码器,所以所需内存可能比主检查点更大。

版本 参数量 下载大小 所需内存 可运行于
OmniVoice FP32 613M 3.26 GB 3.75 GB 笔记本或手机

下载大小包含运行模型所需的全部组件,例如生成器、文本编码器和解码器。所需内存优先采用开发方声明或已公开的实测最低值;没有时按下载大小加约 15% 估算。更大的图像、更长的片段和更高的分辨率需要更多内存。

许可证,用大白话说

一种知识共享许可证,允许任何人在署名的前提下复制、分享和改编作品,但仅限非商业用途。有些模型卡只写 CC BY-NC 而不注明版本,目前的版本是 4.0。

  • 需要署名或标明模型名称

进一步了解 CC BY-NC

延伸阅读

常见问题

OmniVoice 是什么?
OmniVoice 能把文字转成 600 多种语言的语音。它可以从一小段录音复制音色,也可以根据年龄、性别、口音等描述创造新音色。它速度很快,但可下载的模型仅限非商业使用。
OmniVoice 可以商用吗?
未经另行授权不可商用。OmniVoice 采用 CC BY-NC 发布,仅允许研究和个人使用。
OmniVoice 是开源的吗?
OmniVoice 是开放权重模型,但不是严格意义上的开源。你可以下载模型文件,但 CC BY-NC 附带了开源促进会的定义所不允许的条件。
我能在自己的电脑上运行 OmniVoice 吗?
可以。最小版本 OmniVoice 在 4 位精度下约需 3.75 GB 内存,现代笔记本或中端显卡即可胜任。
OmniVoice 是什么时候发布的?
OmniVoice 由 Xiaomi 于 2026年4月1日 发布。

官方链接

来源

规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。

发布时间等信息最近核实于 2026年11月11日。

相关模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
VoxCPM2 OpenBMB 2.29B – Apache 2.0 (宽松) 8 GB 笔记本或手机
Qwen3-TTS Alibaba Qwen 910M – 1.92B – Apache 2.0 (宽松) 3.68 GB 笔记本或手机
Chatterbox Resemble AI 500M – MIT (宽松) 3.69 GB 笔记本或手机
LFM3-Audio-2B Liquid AI 2B 32K LFM Open 1.0 (附条件) 4.6 GB 笔记本或手机