YuE2
3.6B 的开源歌曲生成模型,先写出可编辑的乐谱,再渲染人声和伴奏。CC BY-NC,24 GB 显卡。
一句话概括. YuE2 先为一首歌写出一份可读的乐谱,再把它变成有人声和乐器的录音,所以你可以在渲染之前修改旋律或和弦。它能在一块 24 GB 的 GPU 上运行,许可证是非商业的。
概述
开源研究社区 M-A-P 于 2026 年 9 月联合 Tokenwave.AI、MBZUAI 和 ACE Studio 发布了 YuE2。同一个约 36 亿参数的模型先用 ABC 记谱法写出带旋律和和弦的乐谱,再把它展开成语义音乐 token,最后通过流匹配得到声学特征,由名为 YuE2-Vae 的解码器变成 48 kHz 立体声音频。因为计划是一份可读的乐谱,你可以修改音符、使用自己的乐谱、用 M-A-P 的 SheetSage2 转写后做翻唱版本,或让智能体在两次渲染之间修订乐谱和歌词。
在 YuE2 团队自己的基准 WildSongBench 的 192 条提示词上,YuE2 的 SongBench 平均分是 6.73(八选一时为 6.96)。同一张表里,Suno v5 为 6.87,MiniMax Music 3 为 6.28,HeartMuLa 为 6.25,ACE-Step 1.5 为 6.01。作者称 YuE2 与 Suno v5 和 v6 不相上下。这些数字来自 YuE2 团队,而且 YuE2 的得分采用了他们自己的候选筛选(两首选更好的,或八首选最好的)。arXiv 上的论文(2609.33757)介绍了方法。
模型卡要求 Linux、Python 3.10 或更高版本、支持 BF16 的 NVIDIA GPU 和 24 GB 显存,实测峰值显存为 11 到 14 GiB。在它的测试中,一首 3.6 分钟的歌在 RTX 4090 上用了 71 秒。权重采用 CC BY-NC 4.0,任何商业使用都需要另向作者取得许可。在截至 2026 年 11 月 11 日的 30 天里,Hugging Face 统计到官方仓库约 2.25 万次下载,社区的 GGUF 转换版本约有 25 万次。
适合做什么
- 想在渲染音频之前先修改旋律和和弦的歌曲
- 借助 SheetSage2 转写器,制作现有歌曲的翻唱版本
- 研究以乐谱为条件的音乐生成,有 arXiv 论文和开放基准
- 在一块 24 GB 的 GPU 上本地生成完整歌曲
需要注意
- 权重只能非商业使用,出售歌曲或搭建付费服务需要作者许可
- 需要 Linux 和支持 BF16 的 NVIDIA GPU,模型卡推荐 24 GB 显存和 24 GB 内存
- 基准是 YuE2 团队自己的,翻唱和智能体编辑还需要额外工具和一些配置
- 模型卡没有说明训练数据,商用输出之前请就版权问题咨询律师
性能数据来自开发方,未经独立验证。
需要多少内存?
以下是 YuE2 各版本的内存数据。图像、视频、语音和音乐管线还要加载文本编码器和解码器,所以所需内存可能比主检查点更大。
| 版本 | 参数量 | 下载大小 | 所需内存 | 可运行于 |
|---|---|---|---|---|
| YuE2-3B (BF16, with YuE2-Vae) BF16 | 3.63B | 7.8 GB | 24 GB | 游戏显卡 |
下载大小包含运行模型所需的全部组件,例如生成器、文本编码器和解码器。所需内存优先采用开发方声明或已公开的实测最低值;没有时按下载大小加约 15% 估算。更大的图像、更长的片段和更高的分辨率需要更多内存。 开发方给出的最低显存要求为 24 GB。
许可证,用大白话说
一种知识共享许可证,允许任何人在署名的前提下复制、分享和改编作品,但仅限非商业用途。有些模型卡只写 CC BY-NC 而不注明版本,目前的版本是 4.0。
- 需要署名或标明模型名称
延伸阅读
常见问题
- YuE2 是什么?
- YuE2 先为一首歌写出一份可读的乐谱,再把它变成有人声和乐器的录音,所以你可以在渲染之前修改旋律或和弦。它能在一块 24 GB 的 GPU 上运行,许可证是非商业的。
- YuE2 可以商用吗?
- 未经另行授权不可商用。YuE2 采用 CC BY-NC 发布,仅允许研究和个人使用。
- YuE2 是开源的吗?
- YuE2 是开放权重模型,但不是严格意义上的开源。你可以下载模型文件,但 CC BY-NC 附带了开源促进会的定义所不允许的条件。
- 我能在自己的电脑上运行 YuE2 吗?
- 可以,但需要一块好显卡。最小版本 YuE2-3B (BF16, with YuE2-Vae) 在 4 位精度下约需 24 GB 内存,适合 24 至 32 GB 的游戏显卡,或 32 GB 及以上内存的 Mac。
- YuE2 是什么时候发布的?
- YuE2 由 M-A-P 于 2026年9月9日 发布。
官方链接
来源
规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。
- YuE2-3B model card (Hugging Face) huggingface.co
- YuE2: Unifying Symbolic and Audio Music Generation at Frontier Quality (arXiv) arxiv.org
- YuE2 project page: demos, agentic editing and benchmark (M-A-P) map-yue2.github.io
- YuE2-3B license, CC BY-NC 4.0 (Hugging Face) huggingface.co
发布时间等信息最近核实于 2026年11月11日。
相关模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| ACE-Step 1.5 ACE-Step | 2B – 4B | – | MIT (宽松) | 4 GB 笔记本或手机 | |
| MiniMax Music 3 MiniMax | 11.1B | – | MiniMax Music3 Community (附条件) | 24 GB 游戏显卡 | |
| HeartMuLa HeartMuLa | 3.94B | – | Apache 2.0 (宽松) | 26 GB 游戏显卡 | |
| Stable Audio 3 Stability AI | 460M – 1.4B | – | Stability Community (附条件) | 4.02 GB 笔记本或手机 |