Voxtral Realtime

Mistral 的 Apache 2.0 4B 流式语音转文字模型:支持 13 种语言,延迟可在 80 毫秒到 2.4 秒之间自行设置。

一句话概括. Voxtral Realtime 在说话的同时就把内容记下来,而不是等录音结束。它支持 13 种语言,你可以自己选择能接受的延迟:延迟短反应快,延迟长则更准确。Mistral 推荐 480 毫秒作为平衡点,适合语音助手和实时字幕。

概述

2026 年 2 月 4 日,Mistral AI 推出 Voxtral Transcribe 2,包含两个语音转文字模型。Voxtral Mini Transcribe V2 用于批量转写,Voxtral Realtime 用于实时场景。只有 Voxtral Realtime 开放权重,以 Apache 2.0 许可证发布,仓库名为 Voxtral-Mini-4B-Realtime-2602。它约有 44 亿参数:一个约 34 亿参数的语言模型解码器,加上一个约 9.7 亿参数、从零开始用因果注意力训练的音频编码器,因此可以流式处理。两部分都使用滑动窗口注意力,因此理论上可以无限流式处理。它能转写 13 种语言:英语、中文、印地语、西班牙语、阿拉伯语、法语、葡萄牙语、俄语、德语、日语、韩语、意大利语和荷兰语。

延迟是可以设置的。可选 80 毫秒到 1,200 毫秒之间 80 毫秒的整数倍,或者 2,400 毫秒,模型卡推荐 480 毫秒,认为这是延迟和准确度之间的最佳平衡。在模型卡自己的 FLEURS 表中,平均词错误率在 480 毫秒时为 8.72%,在 2,400 毫秒时为 6.73%,而离线的 Voxtral Mini Transcribe 2.0 为 5.90%,所以延迟加长会缩小差距。这些都是 Mistral 自己的数据。BF16 权重约 8.9 GB,模型卡称它为端侧部署而设计,一个文本 token 相当于 80 毫秒的音频。

模型卡建议用 vLLM 通过 websocket 流式会话来部署,并把温度设为 0。默认最大长度 131,072 token,可覆盖约三小时的连续音频。Hugging Face 显示截至 2026 年 11 月 11 日的 30 天内下载约 150 万次。Mistral 的博客把说话人标签、词级时间戳和上下文偏置列为 Voxtral Mini Transcribe V2 的功能,而该模型只通过 API 提供,开放模型的模型卡没有列出这些功能。

适合做什么

  • 需要在说话的同时显示的实时字幕、语音助手和会议转写
  • 私有或端侧部署,因为模型只有 4B 参数且采用 Apache 2.0 许可证
  • 根据不同用途在延迟和准确度之间权衡
  • 13 种常用语言的语音识别

需要注意

  • 延迟越短错误率越高,模型卡自己的表格显示 160 毫秒时平均为 12.60%,480 毫秒时为 8.72%
  • 不同语言的错误率差别很大,模型卡显示 480 毫秒时阿拉伯语 22.53%、韩语 15.74%、英语 4.90%
  • 说话人标签、词级时间戳和上下文偏置是仅 API 提供的 Voxtral Mini Transcribe V2 的功能,不在这个模型中
  • 模型卡推荐使用 vLLM 加 websocket 流式会话,因此比简单的文件转写工具需要更多配置

性能数据来自开发方,未经独立验证。

需要多少内存?

以下是 Voxtral Realtime 各版本的内存数据。图像、视频、语音和音乐管线还要加载文本编码器和解码器,所以所需内存可能比主检查点更大。

版本 参数量 下载大小 所需内存 可运行于
Voxtral Mini 4B Realtime BF16 4.43B 8.86 GB 10 GB 笔记本或手机

下载大小包含运行模型所需的全部组件,例如生成器、文本编码器和解码器。所需内存优先采用开发方声明或已公开的实测最低值;没有时按下载大小加约 15% 估算。更大的图像、更长的片段和更高的分辨率需要更多内存。

许可证,用大白话说

最常见的宽松型许可证之一。你可以使用、修改模型并基于它销售产品,只需遵守少量条件。

进一步了解 Apache 2.0

延伸阅读

常见问题

Voxtral Realtime 是什么?
Voxtral Realtime 在说话的同时就把内容记下来,而不是等录音结束。它支持 13 种语言,你可以自己选择能接受的延迟:延迟短反应快,延迟长则更准确。Mistral 推荐 480 毫秒作为平衡点,适合语音助手和实时字幕。
Voxtral Realtime 可以商用吗?
可以。Voxtral Realtime 采用 Apache 2.0 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
Voxtral Realtime 是开源的吗?
Voxtral Realtime 采用 Apache 2.0 发布,该许可证经开源促进会(OSI)认可。训练数据和训练代码不一定公开,因此更准确的说法是“采用开源许可证的开放权重模型”。
我能在自己的电脑上运行 Voxtral Realtime 吗?
可以。最小版本 Voxtral Mini 4B Realtime 在 4 位精度下约需 10 GB 内存,现代笔记本或中端显卡即可胜任。
Voxtral Realtime 是什么时候发布的?
Voxtral Realtime 由 Mistral AI 于 2026年2月4日 发布。
Voxtral Realtime 的上下文窗口有多长?
Voxtral Realtime 支持最长 128K token 的上下文窗口。

官方链接

来源

规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。

发布时间等信息最近核实于 2026年11月11日。

相关模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Qwen3-ASR Alibaba Qwen 918M – 2.35B – Apache 2.0 (宽松) 2.12 GB 笔记本或手机
Whisper large-v3-turbo OpenAI 810M – 1.54B – MIT (宽松) 6 GB 笔记本或手机
Nemotron 3.5 ASR NVIDIA 638M – OpenMDW-1.1 (宽松) 2.93 GB 笔记本或手机
Voxtral TTS Mistral AI 4.09B – CC BY-NC (非商用) 9.2 GB 笔记本或手机