Voxtral TTS
Mistral 的 4B 开放权重语音合成模型:支持 9 种语言,可用短音频适配音色,采用非商业的 CC BY-NC 许可证。
一句话概括. Voxtral TTS 能用自然的声音朗读九种语言的文本,还能根据一小段样本适配某个音色。它是 Mistral 的第一个语音合成模型,权重开放。许可证是非商业的,适合研究和个人项目,企业则需要使用 Mistral 的托管服务或另取许可。
概述
Mistral 于 2026 年 3 月 23 日发布 Voxtral TTS,称其为公司的第一个语音合成模型。权重以 Voxtral-4B-TTS-2603 的名字发布在 Hugging Face 上,Mistral 的 AI Studio 里也有托管版本。模型约有 40 亿参数,分三部分:基于 Ministral 3 3B 的 34 亿参数 Transformer 解码器主干、3.9 亿参数的流匹配声学 Transformer,以及 3 亿参数的神经音频编解码器。对每一帧音频,主干先预测一个语义 token,随后流匹配 Transformer 运行 16 次函数评估来生成声学细节。编解码器每秒处理 12.5 帧。
它支持九种语言(英语、法语、德语、西班牙语、荷兰语、葡萄牙语、意大利语、印地语和阿拉伯语),自带 20 种预设音色,输出 24 kHz 音频,格式有 WAV、PCM、FLAC、MP3、AAC 和 Opus,并支持流式输出。它能根据一小段参考音频适配自定义音色。Mistral 称它还能跨语言保持音色,例如用法语音色提示生成英语语音,尽管它并没有专门为此训练。Mistral 报告在 10 秒音色样本和 500 个字符的输入下模型延迟为 70 毫秒,实时因子约 9.7。它与 ElevenLabs 的人类偏好对比是 Mistral 自己做的评测。
权重采用 CC BY-NC 4.0 许可证。模型卡说明,参考音色以 CC BY-NC 4.0 授权,模型继承了该许可证,因此不允许商业使用。这与 Mistral 的另一个开放语音模型 Voxtral Realtime(Apache 2.0)不同。如果需要可商用的语音生成模型,可以看都是 Apache 2.0 的 Qwen3-TTS 或 VoxCPM2。
适合做什么
- 需要低延迟、富有表现力、支持九种语言的语音智能体原型
- 用短参考音频适配音色的研究和个人项目
- 与 Voxtral Realtime 一起组成语音输入、语音输出的流水线
需要注意
- 继承自参考音色的 CC BY-NC 4.0 许可证不允许商业产品,除非使用 Mistral 的托管服务或另取许可
- 只支持九种语言,不含中文、日语和韩语
- 与 ElevenLabs 的对比是 Mistral 自己做的人类评测
- 复制真人声音需要本人同意,你自己的产品中的水印或防滥用措施由你自己负责
性能数据来自开发方,未经独立验证。
需要多少内存?
以下是 Voxtral TTS 各版本的内存数据。图像、视频、语音和音乐管线还要加载文本编码器和解码器,所以所需内存可能比主检查点更大。
| 版本 | 参数量 | 下载大小 | 所需内存 | 可运行于 |
|---|---|---|---|---|
| Voxtral 4B TTS BF16 | 4.09B | 8 GB | 9.2 GB | 笔记本或手机 |
下载大小包含运行模型所需的全部组件,例如生成器、文本编码器和解码器。所需内存优先采用开发方声明或已公开的实测最低值;没有时按下载大小加约 15% 估算。更大的图像、更长的片段和更高的分辨率需要更多内存。
许可证,用大白话说
一种知识共享许可证,允许任何人在署名的前提下复制、分享和改编作品,但仅限非商业用途。有些模型卡只写 CC BY-NC 而不注明版本,目前的版本是 4.0。
- 需要署名或标明模型名称
延伸阅读
常见问题
- Voxtral TTS 是什么?
- Voxtral TTS 能用自然的声音朗读九种语言的文本,还能根据一小段样本适配某个音色。它是 Mistral 的第一个语音合成模型,权重开放。许可证是非商业的,适合研究和个人项目,企业则需要使用 Mistral 的托管服务或另取许可。
- Voxtral TTS 可以商用吗?
- 未经另行授权不可商用。Voxtral TTS 采用 CC BY-NC 发布,仅允许研究和个人使用。
- Voxtral TTS 是开源的吗?
- Voxtral TTS 是开放权重模型,但不是严格意义上的开源。你可以下载模型文件,但 CC BY-NC 附带了开源促进会的定义所不允许的条件。
- 我能在自己的电脑上运行 Voxtral TTS 吗?
- 可以。最小版本 Voxtral 4B TTS 在 4 位精度下约需 9.2 GB 内存,现代笔记本或中端显卡即可胜任。
- Voxtral TTS 是什么时候发布的?
- Voxtral TTS 由 Mistral AI 于 2026年3月23日 发布。
官方链接
来源
规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。
- Mistral AI: Voxtral TTS (23 Mar 2026) mistral.ai
- Voxtral-4B-TTS-2603 model card (Hugging Face) huggingface.co
- Voxtral TTS research paper (arXiv 2603.25551) arxiv.org
发布时间等信息最近核实于 2026年11月11日。
相关模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| Qwen3-TTS Alibaba Qwen | 910M – 1.92B | – | Apache 2.0 (宽松) | 3.68 GB 笔记本或手机 | |
| Pocket TTS Kyutai | 18M – 100M | – | CC BY 4.0 (宽松) | 0.127 GB 笔记本或手机 | |
| Kokoro hexgrad | 82M | – | Apache 2.0 (宽松) | 0.38 GB 笔记本或手机 | |
| Voxtral Realtime Mistral AI | 4.43B | 128K | Apache 2.0 (宽松) | 10 GB 笔记本或手机 |