AuK
腾讯的 1.5B 指令驱动语音模型:生成、编辑、增强和分离,另有 4 步的 Flash 版本。MIT 许可证。
一句话概括. AuK 是一个能听从文字指令的语音模型。它可以用克隆的或描述出来的声音朗读文字,也可以修改你已有的录音,比如替换几个词、让声音更平静、去掉口音、清理噪声,或者从混合音频里分离出某个说话人。它按 MIT 许可证免费使用,包括商用。
概述
腾讯混元团队于 2026 年 9 月 9 日以 MIT 许可证开源了 AuK,并附有技术报告 arXiv 2609.08936。它是一个在数百万小时音频上训练的 15 亿参数扩散 Transformer,把语音生成和编辑看作同一个问题:每个任务都是一条文字指令加上可选的源音频。除了零样本和基于指令的文本转语音(不需要参考音频,只用描述来指定声音),它还可以通过替换、插入或删除词语来改写录音里说的内容,编辑演唱录音的歌词,调整音高、语速和音量,改变情绪、音色或口音,增加或去除呼吸声和笑声,在耳语和正常说话之间转换,对语音降噪和去混响,以及分离说话人、歌声或目标说话人。
它有两个检查点:基础版 AuK,以及蒸馏版 AuK-Flash,后者用 4 个固定步长运行且不需要引导。每个检查点是一个 6.1 GB 的 FP32 文件外加 0.64 GB 的 VAE,流水线还会加载 Qwen2.5-Omni-3B 作为多模态编码器,需要另行下载。README 在 A800 上以 bf16 测得峰值显存约 25 GiB,启用 CPU 卸载后降到约 17 GiB。它提供命令行工具、Gradio 演示、源音频加目标音频限制 30 秒的 ComfyUI 节点、Python API 和微调代码,vLLM-Omni 和 SGLang-Omni 也能部署它。README 还列出了某个分支上对 Apple 芯片的 MLX 支持,以及 audio.cpp 中的社区 GGUF 移植版。可选的提示词增强器会把自由描述的请求转成准确的指令和时长,它需要一个兼容 OpenAI 的语言模型。
模型卡只用图表展示基准结果,所以我们不引用其中的数字,它也没有给出支持的语言列表,不过演示里有英文和中文。ICASSP 2027 音频编辑挑战赛把 AuK 作为单模型赛道的基线。截至 2026 年 11 月 11 日的 30 天内,Hugging Face 统计基础模型约有 1,300 次下载,AuK-Flash 约有 700 次。
适合做什么
- 根据文字指令编辑已有录音里的语音,例如修改词语、音高、语速、音量、情绪或口音
- 清理音频:降噪、去混响、说话人分离和歌声提取
- 零样本声音克隆,或根据声音描述生成语音
- 需要 MIT 许可语音模型的研究和商业工作
需要注意
- 需要另行下载 Qwen2.5-Omni-3B,腾讯实测峰值显存约 25 GiB,启用 CPU 卸载后约 17 GiB
- 基准结果只以图片形式出现,质量方面的说法来自腾讯
- 自由描述的请求最好通过提示词增强器处理,而它需要外部的兼容 OpenAI 的语言模型
- 克隆或编辑他人的声音可能被用来伪造其讲话,MIT 许可证没有规定征得同意的规则
- 没有公布支持的语言列表,演示涵盖英文和中文
性能数据来自开发方,未经独立验证。
需要多少内存?
以下是 AuK 各版本的内存数据。图像、视频、语音和音乐管线还要加载文本编码器和解码器,所以所需内存可能比主检查点更大。
| 版本 | 参数量 | 下载大小 | 所需内存 | 可运行于 |
|---|---|---|---|---|
| AuK (base) FP32 | 1.5B | 6.8 GB | 18 GB | 游戏显卡 |
| AuK-Flash (4-step distilled) FP32 | 1.5B | 6.8 GB | 18 GB | 游戏显卡 |
下载大小包含运行模型所需的全部组件,例如生成器、文本编码器和解码器。所需内存优先采用开发方声明或已公开的实测最低值;没有时按下载大小加约 15% 估算。更大的图像、更长的片段和更高的分辨率需要更多内存。 开发方给出的最低显存要求为 18 GB。
许可证,用大白话说
最简短、最宽松的许可证。只要保留版权和许可声明,你几乎可以对模型做任何事。
延伸阅读
常见问题
- AuK 是什么?
- AuK 是一个能听从文字指令的语音模型。它可以用克隆的或描述出来的声音朗读文字,也可以修改你已有的录音,比如替换几个词、让声音更平静、去掉口音、清理噪声,或者从混合音频里分离出某个说话人。它按 MIT 许可证免费使用,包括商用。
- AuK 可以商用吗?
- 可以。AuK 采用 MIT 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
- AuK 是开源的吗?
- AuK 采用 MIT 发布,该许可证经开源促进会(OSI)认可。训练数据和训练代码不一定公开,因此更准确的说法是“采用开源许可证的开放权重模型”。
- 我能在自己的电脑上运行 AuK 吗?
- 可以,但需要一块好显卡。最小版本 AuK (base) 在 4 位精度下约需 18 GB 内存,适合 24 至 32 GB 的游戏显卡,或 32 GB 及以上内存的 Mac。
- AuK 是什么时候发布的?
- AuK 由 Tencent 于 2026年9月9日 发布。
官方链接
来源
规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。
- AuK model card (Hugging Face) huggingface.co
- AuK repository: news, usage and VRAM table (GitHub) github.com
- AuK-Flash model page (Hugging Face) huggingface.co
- AuK Technical Report (arXiv 2609.08936) arxiv.org
发布时间等信息最近核实于 2026年11月11日。
相关模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| VoxCPM2 OpenBMB | 2.29B | – | Apache 2.0 (宽松) | 8 GB 笔记本或手机 | |
| OmniVoice Xiaomi | 613M | – | CC BY-NC (非商用) | 3.75 GB 笔记本或手机 | |
| Qwen3-TTS Alibaba Qwen | 910M – 1.92B | – | Apache 2.0 (宽松) | 3.68 GB 笔记本或手机 | |
| Fun-CosyVoice 3 Tongyi Lab Speech Team | 500M | – | Apache 2.0 (宽松) | 6.21 GB 笔记本或手机 |