开放音乐模型在 2026 年长大了:七个模型分管歌曲、乐器和音效
2026 年 1 月到 9 月,七个开放的音乐与音效模型相继出现,从 ACE-Step 1.5 这样的写歌模型,到谷歌的实时乐器。对比它们的任务、硬件要求和许可证。
本站此前没有收录音乐类模型,而今年恰好有很多值得收录的。2026 年 1 月到 9 月,七个开放的音乐与音效模型相继出现,来自七个不同的开发方。它们承担四种不同的任务,所以我们新增了“音乐与音效”类别,并推出了最佳开源音乐与音效生成模型榜单。
七个模型,四种任务
| 发布时间 | 模型 | 开发方 | 权重许可证 | 任务 |
|---|---|---|---|---|
| 2026 年 1 月 14 日 | HeartMuLa | HeartMuLa 团队 | Apache 2.0 | 带人声的歌曲 |
| 2026 年 1 月 23 日 | ACE-Step 1.5 | ACE Studio 和阶跃星辰 | MIT | 带人声的歌曲 |
| 2026 年 5 月 20 日 | Stable Audio 3 | Stability AI | Stability AI Community License | 器乐和音效 |
| 2026 年 5 月 25 日 | MOSS-SoundEffect v2.0 | OpenMOSS | Apache 2.0 | 音效 |
| 2026 年 6 月 4 日 | Magenta RealTime 2 | 谷歌 DeepMind | CC BY 4.0 | 实时互动音乐 |
| 2026 年 8 月 13 日 | MiniMax Music 3 | MiniMax | MiniMax-Music3 Community License | 带人声的歌曲 |
| 2026 年 9 月 9 日 | YuE2 | M-A-P | CC BY-NC 4.0 | 由可编辑乐谱生成的歌曲 |
任务比日期更重要。歌曲模型接收歌词和风格描述,并把它们唱出来。Stable Audio 3 根据文字提示生成器乐和音效,还能延长或编辑现有音频。据谷歌介绍,Magenta RealTime 2 持续演奏,约 200 毫秒内响应文字、音频或 MIDI。MOSS-SoundEffect 把一句话变成最长 30 秒的片段。
硬件要求跨度很大
四个歌曲模型需要的机器差别很大。ACE-Step 1.5 的开发者称,它的 2B turbo 模型不到 4 GB 显存就能运行,在 RTX 3090 上生成一首完整歌曲不到 10 秒。YuE2 的模型卡要求 24 GB 的 GPU,实测峰值显存为 11 到 14 GiB;MiniMax Music 3 在 BF16 下能放进 24 GB 的 GPU,用逐层卸载并花费多得多的时间,也能在 8 GB 显卡上运行。HeartMuLa 的 README 没有给出显存数字,文件在 32 位精度下约 22 GB。歌曲之外,Stable Audio 3 Medium 需要约 8 GB,它的 Small 模型能在 CPU 上运行,Magenta RealTime 2 的 Small 模型能在任何 Apple Silicon 的 MacBook 上运行。
许可证的差别比规模更大
七个模型里有三个明确宽松:ACE-Step 1.5 是 MIT,HeartMuLa 和 MOSS-SoundEffect v2.0 是 Apache 2.0,不过 HeartMuLa 另外发布的翻唱模型是 CC BY-NC。Magenta RealTime 2 的权重是 CC BY 4.0,外加谷歌的使用条款。有两个许可证划了营收线:MiniMax-Music3 Community License 要求产品标注模型名称,年营收超过 2000 万美元需要书面授权;Stability AI Community License 在年营收低于 100 万美元时免费,需要先登记并署名。YuE2 采用 CC BY-NC,只能非商业使用。长大之前免费:开放许可证把线划在哪里分析了开放许可证里这类门槛是怎么运作的。
质量说法都来自开发者
我们无法按听感给这些模型排名。能把几个开放歌曲模型放在一起比较的只有 YuE2 团队自己的 WildSongBench:YuE2 得 6.73 分,MiniMax Music 3 得 6.28 分,HeartMuLa 得 6.25 分,ACE-Step 1.5 得 6.01 分,托管服务 Suno v5 得 6.87 分。ACE-Step 的开发者把自己的模型评为介于 Suno v4.5 和 v5 之间,HeartMuLa 团队称一个尚未发布的 7B 模型与 Suno 相当。Stability 称 Stable Audio 3 刷新了开放权重系统的最好水平,谷歌称 Magenta RealTime 2 发布时是唯一支持低延迟控制的实时生成开放权重模型。这些都是开发者自己的说法,而 MiniMax 没有公布 Music 3 的基准数字。
各家对训练数据的说明程度也很不一样。ACE-Step 的开发者称使用了授权、免版税和合成数据,Stable Audio 3 的报告点名了 AudioSparx 的授权录音和来自 Freesound 的知识共享录音。谷歌称 Magenta RealTime 2 学习了约 7.1 万小时的素材库音乐,而 MiniMax Music 3、YuE2 和 HeartMuLa 的模型卡没有说明训练数据。出售生成的音乐之前,请咨询律师。
先试哪个
- 条款简单的歌曲模型: ACE-Step 1.5 或 HeartMuLa。其中 ACE-Step 能在小显卡上运行。
- 提示词更详细的大型歌曲模型: MiniMax Music 3,前提是你能标注它的名称,并有一块 24 GB 的 GPU。
- 可以当作乐谱来编辑的歌曲: YuE2,仅限非商业用途。
- 器乐和音效: Stable Audio 3;需要 Apache 2.0 的话选 MOSS-SoundEffect v2.0。
- 实时乐器: Magenta RealTime 2,在 Apple Silicon 的 MacBook 上运行。
如何选择开源音乐生成模型梳理了完整的决策过程,ACE-Step 1.5 与 MiniMax Music 3 对比和 Stable Audio 3 与 MOSS-SoundEffect v2.0 对比比较了最接近的两组,词汇表条目音乐生成解释了相关术语。
来源
- HeartMuLa-oss-3B-happy-new-year model card (Hugging Face) huggingface.co
- ACE-Step 1.5 model card (Hugging Face) huggingface.co
- Meet Stable Audio 3.0, the model family built for artistic experimentation (Stability AI, 20 May 2026) stability.ai
- MOSS-SoundEffect-V2.0 model card (Hugging Face) huggingface.co
- Magenta RealTime 2: Open & Local Live Music Models (Magenta team, 4 Jun 2026) magenta.withgoogle.com
- MiniMax Music 3.0: Next-Generation Open-Weights, Production-Ready & Versatile Music Model (MiniMax, 13 Aug 2026) minimax.io
- YuE2-3B model card, WildSongBench comparison table (Hugging Face) huggingface.co
本文涉及的模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| HeartMuLa HeartMuLa | 3.94B | – | Apache 2.0 (宽松) | 26 GB 游戏显卡 | |
| ACE-Step 1.5 ACE-Step | 2B – 4B | – | MIT (宽松) | 4 GB 笔记本或手机 | |
| Stable Audio 3 Stability AI | 460M – 1.4B | – | Stability Community (附条件) | 4.02 GB 笔记本或手机 | |
| MOSS-SoundEffect v2.0 OpenMOSS | 1.3B | – | Apache 2.0 (宽松) | 13 GB 笔记本或手机 | |
| Magenta RealTime 2 Google DeepMind | 230M – 2.4B | – | CC BY 4.0 (宽松) | 2.53 GB 笔记本或手机 | |
| MiniMax Music 3 MiniMax | 11.1B | – | MiniMax Music3 Community (附条件) | 24 GB 游戏显卡 | |
| YuE2 M-A-P | 3.63B | – | CC BY-NC (非商用) | 24 GB 游戏显卡 |