AuK

腾讯的 1.5B 指令驱动语音模型:生成、编辑、增强和分离,另有 4 步的 Flash 版本。MIT 许可证。

一句话概括. AuK 是一个能听从文字指令的语音模型。它可以用克隆的或描述出来的声音朗读文字,也可以修改你已有的录音,比如替换几个词、让声音更平静、去掉口音、清理噪声,或者从混合音频里分离出某个说话人。它按 MIT 许可证免费使用,包括商用。

概述

腾讯混元团队于 2026 年 9 月 9 日以 MIT 许可证开源了 AuK,并附有技术报告 arXiv 2609.08936。它是一个在数百万小时音频上训练的 15 亿参数扩散 Transformer,把语音生成和编辑看作同一个问题:每个任务都是一条文字指令加上可选的源音频。除了零样本和基于指令的文本转语音(不需要参考音频,只用描述来指定声音),它还可以通过替换、插入或删除词语来改写录音里说的内容,编辑演唱录音的歌词,调整音高、语速和音量,改变情绪、音色或口音,增加或去除呼吸声和笑声,在耳语和正常说话之间转换,对语音降噪和去混响,以及分离说话人、歌声或目标说话人。

它有两个检查点:基础版 AuK,以及蒸馏版 AuK-Flash,后者用 4 个固定步长运行且不需要引导。每个检查点是一个 6.1 GB 的 FP32 文件外加 0.64 GB 的 VAE,流水线还会加载 Qwen2.5-Omni-3B 作为多模态编码器,需要另行下载。README 在 A800 上以 bf16 测得峰值显存约 25 GiB,启用 CPU 卸载后降到约 17 GiB。它提供命令行工具、Gradio 演示、源音频加目标音频限制 30 秒的 ComfyUI 节点、Python API 和微调代码,vLLM-Omni 和 SGLang-Omni 也能部署它。README 还列出了某个分支上对 Apple 芯片的 MLX 支持,以及 audio.cpp 中的社区 GGUF 移植版。可选的提示词增强器会把自由描述的请求转成准确的指令和时长,它需要一个兼容 OpenAI 的语言模型。

模型卡只用图表展示基准结果,所以我们不引用其中的数字,它也没有给出支持的语言列表,不过演示里有英文和中文。ICASSP 2027 音频编辑挑战赛把 AuK 作为单模型赛道的基线。截至 2026 年 11 月 11 日的 30 天内,Hugging Face 统计基础模型约有 1,300 次下载,AuK-Flash 约有 700 次。

适合做什么

  • 根据文字指令编辑已有录音里的语音,例如修改词语、音高、语速、音量、情绪或口音
  • 清理音频:降噪、去混响、说话人分离和歌声提取
  • 零样本声音克隆,或根据声音描述生成语音
  • 需要 MIT 许可语音模型的研究和商业工作

需要注意

  • 需要另行下载 Qwen2.5-Omni-3B,腾讯实测峰值显存约 25 GiB,启用 CPU 卸载后约 17 GiB
  • 基准结果只以图片形式出现,质量方面的说法来自腾讯
  • 自由描述的请求最好通过提示词增强器处理,而它需要外部的兼容 OpenAI 的语言模型
  • 克隆或编辑他人的声音可能被用来伪造其讲话,MIT 许可证没有规定征得同意的规则
  • 没有公布支持的语言列表,演示涵盖英文和中文

性能数据来自开发方,未经独立验证。

需要多少内存?

以下是 AuK 各版本的内存数据。图像、视频、语音和音乐管线还要加载文本编码器和解码器,所以所需内存可能比主检查点更大。

版本 参数量 下载大小 所需内存 可运行于
AuK (base) FP32 1.5B 6.8 GB 18 GB 游戏显卡
AuK-Flash (4-step distilled) FP32 1.5B 6.8 GB 18 GB 游戏显卡

下载大小包含运行模型所需的全部组件,例如生成器、文本编码器和解码器。所需内存优先采用开发方声明或已公开的实测最低值;没有时按下载大小加约 15% 估算。更大的图像、更长的片段和更高的分辨率需要更多内存。 开发方给出的最低显存要求为 18 GB。

许可证,用大白话说

最简短、最宽松的许可证。只要保留版权和许可声明,你几乎可以对模型做任何事。

进一步了解 MIT

延伸阅读

常见问题

AuK 是什么?
AuK 是一个能听从文字指令的语音模型。它可以用克隆的或描述出来的声音朗读文字,也可以修改你已有的录音,比如替换几个词、让声音更平静、去掉口音、清理噪声,或者从混合音频里分离出某个说话人。它按 MIT 许可证免费使用,包括商用。
AuK 可以商用吗?
可以。AuK 采用 MIT 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
AuK 是开源的吗?
AuK 采用 MIT 发布,该许可证经开源促进会(OSI)认可。训练数据和训练代码不一定公开,因此更准确的说法是“采用开源许可证的开放权重模型”。
我能在自己的电脑上运行 AuK 吗?
可以,但需要一块好显卡。最小版本 AuK (base) 在 4 位精度下约需 18 GB 内存,适合 24 至 32 GB 的游戏显卡,或 32 GB 及以上内存的 Mac。
AuK 是什么时候发布的?
AuK 由 Tencent 于 2026年9月9日 发布。

官方链接

来源

规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。

发布时间等信息最近核实于 2026年11月11日。

相关模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
VoxCPM2 OpenBMB 2.29B – Apache 2.0 (宽松) 8 GB 笔记本或手机
OmniVoice Xiaomi 613M – CC BY-NC (非商用) 3.75 GB 笔记本或手机
Qwen3-TTS Alibaba Qwen 910M – 1.92B – Apache 2.0 (宽松) 3.68 GB 笔记本或手机
Fun-CosyVoice 3 Tongyi Lab Speech Team 500M – Apache 2.0 (宽松) 6.21 GB 笔记本或手机