Voxtral Realtime
Mistral 的 Apache 2.0 4B 流式语音转文字模型:支持 13 种语言,延迟可在 80 毫秒到 2.4 秒之间自行设置。
一句话概括. Voxtral Realtime 在说话的同时就把内容记下来,而不是等录音结束。它支持 13 种语言,你可以自己选择能接受的延迟:延迟短反应快,延迟长则更准确。Mistral 推荐 480 毫秒作为平衡点,适合语音助手和实时字幕。
概述
2026 年 2 月 4 日,Mistral AI 推出 Voxtral Transcribe 2,包含两个语音转文字模型。Voxtral Mini Transcribe V2 用于批量转写,Voxtral Realtime 用于实时场景。只有 Voxtral Realtime 开放权重,以 Apache 2.0 许可证发布,仓库名为 Voxtral-Mini-4B-Realtime-2602。它约有 44 亿参数:一个约 34 亿参数的语言模型解码器,加上一个约 9.7 亿参数、从零开始用因果注意力训练的音频编码器,因此可以流式处理。两部分都使用滑动窗口注意力,因此理论上可以无限流式处理。它能转写 13 种语言:英语、中文、印地语、西班牙语、阿拉伯语、法语、葡萄牙语、俄语、德语、日语、韩语、意大利语和荷兰语。
延迟是可以设置的。可选 80 毫秒到 1,200 毫秒之间 80 毫秒的整数倍,或者 2,400 毫秒,模型卡推荐 480 毫秒,认为这是延迟和准确度之间的最佳平衡。在模型卡自己的 FLEURS 表中,平均词错误率在 480 毫秒时为 8.72%,在 2,400 毫秒时为 6.73%,而离线的 Voxtral Mini Transcribe 2.0 为 5.90%,所以延迟加长会缩小差距。这些都是 Mistral 自己的数据。BF16 权重约 8.9 GB,模型卡称它为端侧部署而设计,一个文本 token 相当于 80 毫秒的音频。
模型卡建议用 vLLM 通过 websocket 流式会话来部署,并把温度设为 0。默认最大长度 131,072 token,可覆盖约三小时的连续音频。Hugging Face 显示截至 2026 年 11 月 11 日的 30 天内下载约 150 万次。Mistral 的博客把说话人标签、词级时间戳和上下文偏置列为 Voxtral Mini Transcribe V2 的功能,而该模型只通过 API 提供,开放模型的模型卡没有列出这些功能。
适合做什么
- 需要在说话的同时显示的实时字幕、语音助手和会议转写
- 私有或端侧部署,因为模型只有 4B 参数且采用 Apache 2.0 许可证
- 根据不同用途在延迟和准确度之间权衡
- 13 种常用语言的语音识别
需要注意
- 延迟越短错误率越高,模型卡自己的表格显示 160 毫秒时平均为 12.60%,480 毫秒时为 8.72%
- 不同语言的错误率差别很大,模型卡显示 480 毫秒时阿拉伯语 22.53%、韩语 15.74%、英语 4.90%
- 说话人标签、词级时间戳和上下文偏置是仅 API 提供的 Voxtral Mini Transcribe V2 的功能,不在这个模型中
- 模型卡推荐使用 vLLM 加 websocket 流式会话,因此比简单的文件转写工具需要更多配置
性能数据来自开发方,未经独立验证。
需要多少内存?
以下是 Voxtral Realtime 各版本的内存数据。图像、视频、语音和音乐管线还要加载文本编码器和解码器,所以所需内存可能比主检查点更大。
| 版本 | 参数量 | 下载大小 | 所需内存 | 可运行于 |
|---|---|---|---|---|
| Voxtral Mini 4B Realtime BF16 | 4.43B | 8.86 GB | 10 GB | 笔记本或手机 |
下载大小包含运行模型所需的全部组件,例如生成器、文本编码器和解码器。所需内存优先采用开发方声明或已公开的实测最低值;没有时按下载大小加约 15% 估算。更大的图像、更长的片段和更高的分辨率需要更多内存。
许可证,用大白话说
最常见的宽松型许可证之一。你可以使用、修改模型并基于它销售产品,只需遵守少量条件。
延伸阅读
- Qwen3-ASR 与 Voxtral Realtime 对比:该选哪个流式语音转文字模型?
- 欧洲研发的开放权重 AI 模型
- 最佳开源语音模型:语音转文字与文字转语音
- 2026 年最佳开源语音识别(语音转文字)模型
- 开放语音模型:转写很开放,文字转语音则参差不齐
常见问题
- Voxtral Realtime 是什么?
- Voxtral Realtime 在说话的同时就把内容记下来,而不是等录音结束。它支持 13 种语言,你可以自己选择能接受的延迟:延迟短反应快,延迟长则更准确。Mistral 推荐 480 毫秒作为平衡点,适合语音助手和实时字幕。
- Voxtral Realtime 可以商用吗?
- 可以。Voxtral Realtime 采用 Apache 2.0 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
- Voxtral Realtime 是开源的吗?
- Voxtral Realtime 采用 Apache 2.0 发布,该许可证经开源促进会(OSI)认可。训练数据和训练代码不一定公开,因此更准确的说法是“采用开源许可证的开放权重模型”。
- 我能在自己的电脑上运行 Voxtral Realtime 吗?
- 可以。最小版本 Voxtral Mini 4B Realtime 在 4 位精度下约需 10 GB 内存,现代笔记本或中端显卡即可胜任。
- Voxtral Realtime 是什么时候发布的?
- Voxtral Realtime 由 Mistral AI 于 2026年2月4日 发布。
- Voxtral Realtime 的上下文窗口有多长?
- Voxtral Realtime 支持最长 128K token 的上下文窗口。
官方链接
来源
规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。
- Mistral AI: Voxtral Transcribe 2 (4 Feb 2026) mistral.ai
- Voxtral-Mini-4B-Realtime-2602 model card (Hugging Face) huggingface.co
- Voxtral Realtime technical report (arXiv 2602.11298) arxiv.org
- vLLM blog: streaming and realtime input blog.vllm.ai
发布时间等信息最近核实于 2026年11月11日。
相关模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| Qwen3-ASR Alibaba Qwen | 918M – 2.35B | – | Apache 2.0 (宽松) | 2.12 GB 笔记本或手机 | |
| Whisper large-v3-turbo OpenAI | 810M – 1.54B | – | MIT (宽松) | 6 GB 笔记本或手机 | |
| Nemotron 3.5 ASR NVIDIA | 638M | – | OpenMDW-1.1 (宽松) | 2.93 GB 笔记本或手机 | |
| Voxtral TTS Mistral AI | 4.09B | – | CC BY-NC (非商用) | 9.2 GB 笔记本或手机 |