VibeVoice-ASR
微软的 MIT 许可 8.7B 语音转文字模型:一次处理一小时音频,输出说话人标签和时间戳,支持 50 多种语言。
一句话概括. VibeVoice-ASR 能一次转写长达一小时的录音。它给出的不是纯文本,而是谁在什么时候说了什么,你还可以给它一份热词表,例如人名和专业术语。它覆盖 50 多种语言,采用 MIT 许可证发布。
概述
微软研究院于 2026 年 1 月 21 日开源 VibeVoice-ASR,并在技术报告中做了介绍(arXiv 2601.18184)。这是一个统一的语音转文字模型,约有 87 亿参数,检查点为 17.35 GB 的 BF16 文件。它能在 64K token 的上下文中一次接收最长 60 分钟的连续音频,而不是把音频切成短片段,因此整段录音中的说话人追踪保持一致。模型把转写、说话人区分和时间戳一起完成,输出就说明了谁在什么时候说了什么。它支持自定义热词,支持 50 多种语言且无需设置语言,并能处理语码转换。
微软一直在扩展这条产品线。VibeVoice-ASR 于 2026 年 3 月 6 日加入 Hugging Face Transformers 发布版,3 月 12 日进入 Azure AI Foundry Labs。2026 年 7 月 23 日,微软发布边缘 CPU 推理引擎 VibeASR.cpp,称它在三个或更多 CPU 线程上就能达到实时速度,无需 GPU。2026 年 9 月 3 日又增加了 VibeVoice-ASR-Streaming,有 7B 和 1.5B 两个版本,在语音到来时就写出谁说了什么,支持热词,覆盖 10 种语言(中文、英语、法语、德语、意大利语、日语、韩语、葡萄牙语、俄语和西班牙语)。流式版技术报告称其 7B 模型在该报告的五个评测集上平均错误率最低。
模型卡只以图片形式展示说话人区分和错误率的对比,所以我们不在这里引用数字;依赖任何准确度说法之前,请阅读技术报告。Hugging Face 显示 VibeVoice-ASR 在截至 2026 年 11 月 11 日的 30 天内约有 71.4 万次下载,远多于流式版本。
适合做什么
- 一次转写长达一小时的会议、访谈和播客,并带有说话人标签和时间戳
- 可以提供人名、专业术语等热词的垂直领域音频
- 50 多种语言的多语种和语码转换语音
- 用流式版本生成带说话人标识的实时字幕
需要注意
- 完整模型很大,BF16 约 17 GB,除非使用微软的 CPU 引擎,否则需要大显存 GPU
- 流式版本支持 10 种语言,少于完整模型的 50 多种
- 模型卡只用图表展示结果,真实数字请查看技术报告
- 所有准确度说法都来自微软自己的报告
性能数据来自开发方,未经独立验证。
需要多少内存?
以下是 VibeVoice-ASR 各版本的内存数据。图像、视频、语音和音乐管线还要加载文本编码器和解码器,所以所需内存可能比主检查点更大。
| 版本 | 参数量 | 下载大小 | 所需内存 | 可运行于 |
|---|---|---|---|---|
| ASR-Streaming-1.5B BF16 | 2.81B | 5.63 GB | 6.47 GB | 笔记本或手机 |
| VibeVoice-ASR BF16 | 8.67B | 17 GB | 20 GB | 游戏显卡 |
| ASR-Streaming-7B BF16 | 8.67B | 17 GB | 20 GB | 游戏显卡 |
下载大小包含运行模型所需的全部组件,例如生成器、文本编码器和解码器。所需内存优先采用开发方声明或已公开的实测最低值;没有时按下载大小加约 15% 估算。更大的图像、更长的片段和更高的分辨率需要更多内存。
许可证,用大白话说
最简短、最宽松的许可证。只要保留版权和许可声明,你几乎可以对模型做任何事。
延伸阅读
常见问题
- VibeVoice-ASR 是什么?
- VibeVoice-ASR 能一次转写长达一小时的录音。它给出的不是纯文本,而是谁在什么时候说了什么,你还可以给它一份热词表,例如人名和专业术语。它覆盖 50 多种语言,采用 MIT 许可证发布。
- VibeVoice-ASR 可以商用吗?
- 可以。VibeVoice-ASR 采用 MIT 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
- VibeVoice-ASR 是开源的吗?
- VibeVoice-ASR 采用 MIT 发布,该许可证经开源促进会(OSI)认可。训练数据和训练代码不一定公开,因此更准确的说法是“采用开源许可证的开放权重模型”。
- 我能在自己的电脑上运行 VibeVoice-ASR 吗?
- 可以。最小版本 ASR-Streaming-1.5B 在 4 位精度下约需 6.47 GB 内存,现代笔记本或中端显卡即可胜任。
- VibeVoice-ASR 是什么时候发布的?
- VibeVoice-ASR 由 Microsoft 于 2026年1月21日 发布。
- VibeVoice-ASR 的上下文窗口有多长?
- VibeVoice-ASR 支持最长 64K token 的上下文窗口。
官方链接
来源
规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。
- VibeVoice repository, release news (GitHub) github.com
- VibeVoice-ASR model card (Hugging Face) huggingface.co
- VibeVoice-ASR technical report (arXiv 2601.18184) arxiv.org
- VibeVoice-ASR-Streaming-7B model card (Hugging Face) huggingface.co
- VibeVoice-ASR-Streaming technical report (arXiv 2609.02812) arxiv.org
发布时间等信息最近核实于 2026年11月11日。
相关模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| Qwen3-ASR Alibaba Qwen | 918M – 2.35B | – | Apache 2.0 (宽松) | 2.12 GB 笔记本或手机 | |
| Voxtral Realtime Mistral AI | 4.43B | 128K | Apache 2.0 (宽松) | 10 GB 笔记本或手机 | |
| Nemotron 3.5 Transcribe NVIDIA | 34B 激活 4.3B | 64K | OpenMDW-1.1 (宽松) | 25 GB 游戏显卡 | |
| Whisper large-v3-turbo OpenAI | 810M – 1.54B | – | MIT (宽松) | 6 GB 笔记本或手机 |