VibeVoice-ASR

微软的 MIT 许可 8.7B 语音转文字模型:一次处理一小时音频,输出说话人标签和时间戳,支持 50 多种语言。

一句话概括. VibeVoice-ASR 能一次转写长达一小时的录音。它给出的不是纯文本,而是谁在什么时候说了什么,你还可以给它一份热词表,例如人名和专业术语。它覆盖 50 多种语言,采用 MIT 许可证发布。

概述

微软研究院于 2026 年 1 月 21 日开源 VibeVoice-ASR,并在技术报告中做了介绍(arXiv 2601.18184)。这是一个统一的语音转文字模型,约有 87 亿参数,检查点为 17.35 GB 的 BF16 文件。它能在 64K token 的上下文中一次接收最长 60 分钟的连续音频,而不是把音频切成短片段,因此整段录音中的说话人追踪保持一致。模型把转写、说话人区分和时间戳一起完成,输出就说明了谁在什么时候说了什么。它支持自定义热词,支持 50 多种语言且无需设置语言,并能处理语码转换。

微软一直在扩展这条产品线。VibeVoice-ASR 于 2026 年 3 月 6 日加入 Hugging Face Transformers 发布版,3 月 12 日进入 Azure AI Foundry Labs。2026 年 7 月 23 日,微软发布边缘 CPU 推理引擎 VibeASR.cpp,称它在三个或更多 CPU 线程上就能达到实时速度,无需 GPU。2026 年 9 月 3 日又增加了 VibeVoice-ASR-Streaming,有 7B 和 1.5B 两个版本,在语音到来时就写出谁说了什么,支持热词,覆盖 10 种语言(中文、英语、法语、德语、意大利语、日语、韩语、葡萄牙语、俄语和西班牙语)。流式版技术报告称其 7B 模型在该报告的五个评测集上平均错误率最低。

模型卡只以图片形式展示说话人区分和错误率的对比,所以我们不在这里引用数字;依赖任何准确度说法之前,请阅读技术报告。Hugging Face 显示 VibeVoice-ASR 在截至 2026 年 11 月 11 日的 30 天内约有 71.4 万次下载,远多于流式版本。

适合做什么

  • 一次转写长达一小时的会议、访谈和播客,并带有说话人标签和时间戳
  • 可以提供人名、专业术语等热词的垂直领域音频
  • 50 多种语言的多语种和语码转换语音
  • 用流式版本生成带说话人标识的实时字幕

需要注意

  • 完整模型很大,BF16 约 17 GB,除非使用微软的 CPU 引擎,否则需要大显存 GPU
  • 流式版本支持 10 种语言,少于完整模型的 50 多种
  • 模型卡只用图表展示结果,真实数字请查看技术报告
  • 所有准确度说法都来自微软自己的报告

性能数据来自开发方,未经独立验证。

需要多少内存?

以下是 VibeVoice-ASR 各版本的内存数据。图像、视频、语音和音乐管线还要加载文本编码器和解码器,所以所需内存可能比主检查点更大。

版本 参数量 下载大小 所需内存 可运行于
ASR-Streaming-1.5B BF16 2.81B 5.63 GB 6.47 GB 笔记本或手机
VibeVoice-ASR BF16 8.67B 17 GB 20 GB 游戏显卡
ASR-Streaming-7B BF16 8.67B 17 GB 20 GB 游戏显卡

下载大小包含运行模型所需的全部组件,例如生成器、文本编码器和解码器。所需内存优先采用开发方声明或已公开的实测最低值;没有时按下载大小加约 15% 估算。更大的图像、更长的片段和更高的分辨率需要更多内存。

许可证,用大白话说

最简短、最宽松的许可证。只要保留版权和许可声明,你几乎可以对模型做任何事。

进一步了解 MIT

延伸阅读

常见问题

VibeVoice-ASR 是什么?
VibeVoice-ASR 能一次转写长达一小时的录音。它给出的不是纯文本,而是谁在什么时候说了什么,你还可以给它一份热词表,例如人名和专业术语。它覆盖 50 多种语言,采用 MIT 许可证发布。
VibeVoice-ASR 可以商用吗?
可以。VibeVoice-ASR 采用 MIT 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
VibeVoice-ASR 是开源的吗?
VibeVoice-ASR 采用 MIT 发布,该许可证经开源促进会(OSI)认可。训练数据和训练代码不一定公开,因此更准确的说法是“采用开源许可证的开放权重模型”。
我能在自己的电脑上运行 VibeVoice-ASR 吗?
可以。最小版本 ASR-Streaming-1.5B 在 4 位精度下约需 6.47 GB 内存,现代笔记本或中端显卡即可胜任。
VibeVoice-ASR 是什么时候发布的?
VibeVoice-ASR 由 Microsoft 于 2026年1月21日 发布。
VibeVoice-ASR 的上下文窗口有多长?
VibeVoice-ASR 支持最长 64K token 的上下文窗口。

官方链接

来源

规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。

发布时间等信息最近核实于 2026年11月11日。

相关模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Qwen3-ASR Alibaba Qwen 918M – 2.35B – Apache 2.0 (宽松) 2.12 GB 笔记本或手机
Voxtral Realtime Mistral AI 4.43B 128K Apache 2.0 (宽松) 10 GB 笔记本或手机
Nemotron 3.5 Transcribe NVIDIA 34B 激活 4.3B 64K OpenMDW-1.1 (宽松) 25 GB 游戏显卡
Whisper large-v3-turbo OpenAI 810M – 1.54B – MIT (宽松) 6 GB 笔记本或手机