VibeVoice-TTS

微软的 MIT 许可 VibeVoice 语音合成:1.5B 模型最长 90 分钟、4 位说话人,另有 0.5B 实时模型。仅限研究使用。

一句话概括. VibeVoice 能把文本变成长篇自然对话,例如最多四位说话人的播客,小型的实时版本大约 0.3 秒就能开口。权重采用 MIT 许可证,但微软的模型卡把预期用途限定为研究,并且在发现滥用后从 GitHub 删除了原有的 TTS 代码。

概述

VibeVoice 是微软研究院的语音合成框架。它的第一个模型 VibeVoice-1.5B 于 2025 年 8 月 25 日开源,据模型卡介绍,可以生成富有表现力的长篇多人对话,最长约 90 分钟音频,最多四位不同的说话人。它使用帧率仅 7.5 Hz 的连续语音分词器,用 Qwen2.5-1.5B 语言模型理解文本和对话流程,再由扩散头生成声学细节,这种设计叫作下一个 token 扩散。训练时的上下文长度最长 65,536 token,技术报告是 arXiv 2508.19205。模型卡列出的更大的 VibeVoice-Large(32K 上下文)处于禁用状态。

2025 年 9 月 5 日,微软表示发现有人以与其声明意图不一致的方式使用该工具,已从 GitHub 仓库中删除 VibeVoice-TTS 代码。权重仍以 MIT 许可证保留在 Hugging Face 上,但模型卡把预期用途限定为研究,并提醒注意深度伪造和虚假信息。2025 年 12 月 3 日,微软发布 VibeVoice-Realtime-0.5B,这是一个支持流式文本输入的轻量模型,首次发声大约 300 毫秒(取决于硬件)。它只有单一说话人,面向英语;模型卡另外提供九种语言(德语、法语、意大利语、日语、韩语、荷兰语、波兰语、葡萄牙语和西班牙语),仅供探索。

由于预期用途限于研究,并且代码已被撤回,请把这个系列当作研究和原型验证的对象,而不是默认的生产选择。如果需要为产品而设计、许可证宽松的语音生成模型,可以看都是 Apache 2.0 的 Qwen3-TTS 或 VoxCPM2。

适合做什么

  • 用 1.5B 模型研究长篇多说话人语音,例如播客式对话
  • 用实时模型做低延迟的英语旁白,在 LLM 还在输出前几个 token 时就开始朗读
  • 对权重采用 MIT 许可证的下一个 token 扩散语音模型做实验

需要注意

  • 模型卡把预期用途限定为研究,微软也在 2025 年 9 月因滥用而从 GitHub 删除了 TTS 代码,构建产品前请先确认现在还有哪些可用
  • 实时模型只有一位说话人,仅面向英语,其他语言可能产生不可预测的结果
  • 多人对话需要用 1.5B 模型,它不是流式的
  • 合成语音可能被滥用于冒充,微软的模型卡提醒了深度伪造和虚假信息的风险

性能数据来自开发方,未经独立验证。

需要多少内存?

以下是 VibeVoice-TTS 各版本的内存数据。图像、视频、语音和音乐管线还要加载文本编码器和解码器,所以所需内存可能比主检查点更大。

版本 参数量 下载大小 所需内存 可运行于
VibeVoice-Realtime-0.5B BF16 1.02B 2.04 GB 2.35 GB 笔记本或手机
VibeVoice-1.5B BF16 2.7B 5.41 GB 6.22 GB 笔记本或手机

下载大小包含运行模型所需的全部组件,例如生成器、文本编码器和解码器。所需内存优先采用开发方声明或已公开的实测最低值;没有时按下载大小加约 15% 估算。更大的图像、更长的片段和更高的分辨率需要更多内存。

许可证,用大白话说

最简短、最宽松的许可证。只要保留版权和许可声明,你几乎可以对模型做任何事。

进一步了解 MIT

延伸阅读

常见问题

VibeVoice-TTS 是什么?
VibeVoice 能把文本变成长篇自然对话,例如最多四位说话人的播客,小型的实时版本大约 0.3 秒就能开口。权重采用 MIT 许可证,但微软的模型卡把预期用途限定为研究,并且在发现滥用后从 GitHub 删除了原有的 TTS 代码。
VibeVoice-TTS 可以商用吗?
可以。VibeVoice-TTS 采用 MIT 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
VibeVoice-TTS 是开源的吗?
VibeVoice-TTS 采用 MIT 发布,该许可证经开源促进会(OSI)认可。训练数据和训练代码不一定公开,因此更准确的说法是“采用开源许可证的开放权重模型”。
我能在自己的电脑上运行 VibeVoice-TTS 吗?
可以。最小版本 VibeVoice-Realtime-0.5B 在 4 位精度下约需 2.35 GB 内存,现代笔记本或中端显卡即可胜任。
VibeVoice-TTS 是什么时候发布的?
VibeVoice-TTS 由 Microsoft 于 2025年8月25日 发布。
VibeVoice-TTS 的上下文窗口有多长?
VibeVoice-TTS 支持最长 64K token 的上下文窗口。

官方链接

来源

规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。

发布时间等信息最近核实于 2026年11月11日。

相关模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Qwen3-TTS Alibaba Qwen 910M – 1.92B – Apache 2.0 (宽松) 3.68 GB 笔记本或手机
VoxCPM2 OpenBMB 2.29B – Apache 2.0 (宽松) 8 GB 笔记本或手机
OmniVoice Xiaomi 613M – CC BY-NC (非商用) 3.75 GB 笔记本或手机
VibeVoice-ASR Microsoft 2.81B – 8.67B 64K MIT (宽松) 6.47 GB 笔记本或手机