OmniVoice
小米 Next-gen Kaldi 团队的 TTS,支持 600 多种语言、克隆和音色设计。代码是 Apache 2.0,但权重是 CC BY-NC。
一句话概括. OmniVoice 能把文字转成 600 多种语言的语音。它可以从一小段录音复制音色,也可以根据年龄、性别、口音等描述创造新音色。它速度很快,但可下载的模型仅限非商业使用。
概述
OmniVoice 来自小米的 Next-gen Kaldi(k2-fsa)语音团队,于 2026 年 4 月 1 日随论文发布。它是一个 0.6B 参数的模型,由 Qwen3-0.6B 初始化,采用类扩散语言模型的非自回归设计,把文字直接映射为音频 token,而不是一个 token 接一个 token 地生成。它在完全由开源数据构成的 58.1 万小时多语种数据集上训练,支持 600 多种语言,作者称这是所有零样本 TTS 模型中覆盖最广的。
它可以从一段参考音频克隆音色,也可以按性别、年龄、音高、口音等属性设计音色,并支持 [laughter] 之类的标签以及拼音或音素提示来纠正发音。声音克隆是最稳定的模式,而音色设计只用中文和英文训练。模型卡给出的实时因子低至 0.025,约比实时快 40 倍;GitHub 页面在 H100 上用 FlashInfer、批大小 8 测得 0.0115。输出是 24 kHz 音频。
许可证有个陷阱。代码是 Apache 2.0,但由于训练数据(如 Emilia)的限制,预训练模型采用 CC BY-NC,因此不能商用。作者还禁止未经授权的声音克隆和冒充。检查点是一个 3.3 GB 的 float32 文件,用 omnivoice Python 包安装运行环境。
适合做什么
- 为其他模型没有覆盖的低资源语言做语音合成
- 需要声音克隆或音色设计的研究和个人项目
- 在单张 GPU 上快速批量生成
需要注意
- 权重采用 CC BY-NC,不允许商用,尽管代码是 Apache 2.0
- 音色设计只用中文和英文训练,在低资源语言上结果可能不稳定
- 跨语言克隆会带上参考音频的口音
- 作者禁止未经授权的声音克隆、冒充和欺诈
性能数据来自开发方,未经独立验证。
需要多少内存?
以下是 OmniVoice 各版本的内存数据。图像、视频、语音和音乐管线还要加载文本编码器和解码器,所以所需内存可能比主检查点更大。
| 版本 | 参数量 | 下载大小 | 所需内存 | 可运行于 |
|---|---|---|---|---|
| OmniVoice FP32 | 613M | 3.26 GB | 3.75 GB | 笔记本或手机 |
下载大小包含运行模型所需的全部组件,例如生成器、文本编码器和解码器。所需内存优先采用开发方声明或已公开的实测最低值;没有时按下载大小加约 15% 估算。更大的图像、更长的片段和更高的分辨率需要更多内存。
许可证,用大白话说
一种知识共享许可证,允许任何人在署名的前提下复制、分享和改编作品,但仅限非商业用途。有些模型卡只写 CC BY-NC 而不注明版本,目前的版本是 4.0。
- 需要署名或标明模型名称
延伸阅读
- OmniVoice 与 VoxCPM2 对比:该选哪个开源文字转语音模型?
- 最佳开源语音模型:语音转文字与文字转语音
- 2026 年最佳开源文字转语音(TTS)模型
- 开放语音模型:转写很开放,文字转语音则参差不齐
常见问题
- OmniVoice 是什么?
- OmniVoice 能把文字转成 600 多种语言的语音。它可以从一小段录音复制音色,也可以根据年龄、性别、口音等描述创造新音色。它速度很快,但可下载的模型仅限非商业使用。
- OmniVoice 可以商用吗?
- 未经另行授权不可商用。OmniVoice 采用 CC BY-NC 发布,仅允许研究和个人使用。
- OmniVoice 是开源的吗?
- OmniVoice 是开放权重模型,但不是严格意义上的开源。你可以下载模型文件,但 CC BY-NC 附带了开源促进会的定义所不允许的条件。
- 我能在自己的电脑上运行 OmniVoice 吗?
- 可以。最小版本 OmniVoice 在 4 位精度下约需 3.75 GB 内存,现代笔记本或中端显卡即可胜任。
- OmniVoice 是什么时候发布的?
- OmniVoice 由 Xiaomi 于 2026年4月1日 发布。
官方链接
来源
规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。
- OmniVoice: Towards Omnilingual Zero-Shot Text-to-Speech with Diffusion Language Models (arXiv, 1 Apr 2026) arxiv.org
- OmniVoice model card (Hugging Face) huggingface.co
- OmniVoice repository (GitHub) github.com
发布时间等信息最近核实于 2026年11月11日。
相关模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| VoxCPM2 OpenBMB | 2.29B | – | Apache 2.0 (宽松) | 8 GB 笔记本或手机 | |
| Qwen3-TTS Alibaba Qwen | 910M – 1.92B | – | Apache 2.0 (宽松) | 3.68 GB 笔记本或手机 | |
| Chatterbox Resemble AI | 500M | – | MIT (宽松) | 3.69 GB 笔记本或手机 | |
| LFM3-Audio-2B Liquid AI | 2B | 32K | LFM Open 1.0 (附条件) | 4.6 GB 笔记本或手机 |