如何选择开源音乐生成模型
按生成内容、硬件要求和许可证对比开放的音乐与音效模型:MiniMax Music 3、YuE2、ACE-Step 1.5、HeartMuLa、Stable Audio 3、Magenta RealTime 2 和 MOSS-SoundEffect。
简短回答。 想要带人声的完整歌曲,又要宽松的许可证,先试 ACE-Step 1.5(MIT,约 4 GB 显存起)或 HeartMuLa(Apache 2.0)。MiniMax Music 3 能写出最长五分钟的歌曲,允许标注其名称的商业产品,YuE2 在自己团队的基准里得分最高,但只能非商业使用。需要器乐和音效的话,Stable Audio 3 能在 8 GB 的 GPU 上运行,它的 Small 版本甚至能在笔记本 CPU 上运行。Magenta RealTime 2 是 Apple Silicon MacBook 上的实时乐器,MOSS-SoundEffect v2.0 以 Apache 2.0 生成音效。音质因人而异,决定之前请先听一听。
要看什么
开放的音乐模型承担四种任务之一,任务比任何分数都重要:
- 带人声的歌曲。 输入歌词和风格描述,输出一首成品歌曲。MiniMax Music 3、YuE2、ACE-Step 1.5 和 HeartMuLa 做的是这件事。
- 器乐。 输入文字提示,输出没有演唱的音乐,通常还支持补全或续写。Stable Audio 3 做的是这件事。
- 实时音乐。 音频持续流式输出,播放时就能响应文字、音频或 MIDI。Magenta RealTime 2 做的是这件事。
- 音效。 输入一句话,输出一个短片段。MOSS-SoundEffect v2.0 和 Stable Audio 3 的音效模型做的是这件事。
然后比较硬件要求、许可证,以及开发者对训练数据的说明。我们的音乐与音效生成榜单涵盖了收录的所有模型,词汇表条目音乐生成解释了相关术语。
候选清单
| 模型 | 规模 | 许可证 | 生成内容 | 硬件 |
|---|---|---|---|---|
| MiniMax Music 3 | 11.1B | MiniMax-Music3 Community License | 带人声的歌曲,最长 5 分钟,32 kHz | BF16 下 24 GB 的 GPU,卸载后可更少 |
| YuE2 | 3.6B | CC BY-NC 4.0 | 由可编辑乐谱生成的歌曲,48 kHz | 24 GB 的 GPU,峰值 11 到 14 GiB |
| ACE-Step 1.5 | 2B 或 4B DiT,外加 0.6B 到 4B 的规划模型 | MIT | 10 秒到 10 分钟的歌曲,歌词支持 50 多种语言 | 约 4 GB(2B turbo),12 到 20 GB(XL) |
| HeartMuLa | 3.9B | Apache 2.0 | 最长 4 分钟的歌曲,48 kHz | 文件约 22 GB,没有显存数字 |
| Stable Audio 3 | Medium 1.4B,Small 0.46B | Stability AI Community License | 器乐和音效,最长 6 分 20 秒 | Medium 约 8 GB,Small 可用 CPU |
| Magenta RealTime 2 | Base 2.4B,Small 230M | 权重 CC BY 4.0,代码 Apache 2.0 | 实时器乐,48 kHz | Apple Silicon 的 MacBook |
| MOSS-SoundEffect v2.0 | 1.3B | Apache 2.0 | 最长 30 秒的音效,48 kHz | 没有显存数字,文件 11 GB |
按用途选择
- 在游戏显卡上快速出歌曲草稿。 ACE-Step 1.5。它的开发者称,在 RTX 3090 上生成一首完整歌曲不到 10 秒,2B turbo 模型不到 4 GB 显存就能运行。它还支持翻唱、局部重绘、分轨,以及用几首歌训练 LoRA。这些速度是开发者自己给出的数字。
- 可以出售的歌曲。 ACE-Step 1.5(MIT)和 HeartMuLa(Apache 2.0)的条款最简单。HeartMuLa 能用中文、英文、日文、韩文或西班牙文写出最长四分钟的歌曲,生成速度约为实时,但参考音频条件控制仍列为即将推出。
- 根据详细提示生成较长、结构清晰的歌曲。 MiniMax Music 3 接收带 [Verse]、[Chorus] 标签的歌词,加上对风格、速度、调性、人声和编曲的描述,能写出最长五分钟的歌。它是歌曲模型里最大的,有 11.1B 参数,需要 CUDA。
- 渲染之前就能编辑的歌曲。 YuE2 先把旋律和和弦写成可读的乐谱,所以你可以修改音符或带入自己的乐谱,还能根据转写生成翻唱。它只能非商业使用。
- 视频或游戏的背景音乐、循环片段和草稿。 Stable Audio 3 大约八步采样就能生成最长 6 分 20 秒的器乐,还能补全、续写和编辑音频。它不会唱歌。
- 音效。 MOSS-SoundEffect v2.0 支持中英文提示,采用 Apache 2.0,但要 100 步采样;Stable Audio 3 的音效模型只需八步,不过许可证设有营收上限。
- 可以现场演奏的实时乐器。 据谷歌介绍,Magenta RealTime 2 约 200 毫秒内就能响应文字、音频和 MIDI,它是为 Apple Silicon 的 Mac 打造的。
- 没有独立显卡的笔记本。 Stable Audio 3 的 Small 模型能在 CPU 上运行,Stability 实测在 MacBook Pro M4 上生成两分钟音频约 6 秒。Magenta RealTime 2 的 Small 模型能在任何 Apple Silicon 的 MacBook 上运行。
看演示之前,先看许可证
要了解四种模式:
- 朴素宽松。 ACE-Step 1.5 的代码和权重都是 MIT,HeartMuLa 和 MOSS-SoundEffect v2.0 是 Apache 2.0。HeartMuLa 另外发布的翻唱模型 MuLaCover 是 CC BY-NC。
- 署名加营收线。 MiniMax-Music3 Community License 要求产品标注“MiniMax-Music3”,年营收超过 2000 万美元需要书面授权,并要求托管方保留防止侵权输出的保障措施。Stable Audio 3 的 Stability AI Community License 在年营收低于 100 万美元时免费,需要先登记,要求标注“Powered by Stability AI”,并禁止用这些模型或其输出来构建另一个基础模型。词汇表条目营收上限解释了这种模式。
- 只要求署名。 Magenta RealTime 2 的权重是 CC BY 4.0,谷歌的条款另外加入了负责任使用的规则,并禁止侵犯他人权利的输出。
- 非商业。 YuE2 采用 CC BY-NC,出售它的歌曲或运营收费服务都需要作者许可。参见非商业许可证。
AI 模型许可证详解介绍了一般规则。
训练数据与版权
权重的许可证并不能说明模型学习过哪些音乐,而各开发者对此的说明程度很不一样:
- ACE-Step 的开发者称,他们使用了授权音乐、免版税和公有领域的录音,以及由 MIDI 合成的音频。我们没有核实这一点。
- Stable Audio 3 的报告列出约 80.6 万条 AudioSparx 授权录音,以及约 47 万条来自 Freesound 的知识共享录音。
- Magenta RealTime 2 用约 7.1 万小时的素材库音乐训练,大部分是器乐。
- MiniMax Music 3、YuE2 和 HeartMuLa 的模型卡没有说明训练数据。
出售生成的音乐之前,请咨询律师,保留你用过的提示词和设置,并避免模仿在世艺术家的声音或风格。
像听众一样测试
从你的真实用途里挑五个提示词:一个风格和情绪、一个速度、你需要的每种语言的一段歌词,做音效的话再加上你真正想要的声音。每个提示词用两三个候选模型生成,盲听比较。在自己的硬件上给一次完整生成计时,因为公布的速度都是最好情况。歌曲模型可能偏离你要求的速度、调性或歌词,所以除了风格,也要听歌词是否清晰、结构是否合理。如何自己评估 AI 模型解释了如何把这些变成可重复的测试。
常见问题
- 哪个开源音乐模型听起来最好?
- 我们无法给出独立的排名。能把几个开放歌曲模型放在一起比较的只有 YuE2 团队自己的 WildSongBench,其中 YuE2 得 6.73 分,MiniMax Music 3 得 6.28 分,HeartMuLa 得 6.25 分,ACE-Step 1.5 得 6.01 分,托管服务 Suno v5 得 6.87 分。这些分数都来自同一个开发者。请用两三个模型生成同样的五个提示词,再盲听比较。
- 哪些开源音乐模型可以用于商业产品?
- ACE-Step 1.5 采用 MIT,HeartMuLa 和 MOSS-SoundEffect v2.0 采用 Apache 2.0。MiniMax Music 3 允许标注 MiniMax-Music3 名称的商业产品,年营收超过 2000 万美元的公司需要书面授权。Stable Audio 3 在年营收低于 100 万美元时可以免费商用,需要先登记并标注 Powered by Stability AI。Magenta RealTime 2 的权重是 CC BY 4.0,需要署名谷歌并遵守它的条款。YuE2 是 CC BY-NC 4.0,只能非商业使用,HeartMuLa 另外发布的 MuLaCover 模型也是如此。
- 音乐模型需要多大的 GPU 显存?
- 从几乎不需要到 24 GB 不等。Stable Audio 3 的 Small 模型能在笔记本 CPU 上运行,Magenta RealTime 2 的 Small 模型能在任何 Apple Silicon 的 MacBook 上运行。ACE-Step 的开发者称它的 2B turbo 模型不到 4 GB 显存就能运行,Stable Audio 3 Medium 需要约 8 GB。YuE2 的模型卡要求支持 BF16 的 24 GB GPU,MiniMax Music 3 在 BF16 下能放进 24 GB 的 GPU,用逐层卸载甚至能在 8 GB 显卡上运行,只是更慢。
- 能用开源模型做音效吗?
- 可以。MOSS-SoundEffect v2.0(Apache 2.0)能根据中英文提示生成最长 30 秒的片段。Stable Audio 3 有可生成最长 2 分钟片段的 Small SFX 模型,还有既能做音乐又能做音效、最长 6 分 20 秒的 Medium 模型,许可证在年营收低于 100 万美元时免费。
- 开源模型能唱英语以外的语言吗?
- ACE-Step 1.5 称它的歌词支持 50 多种语言,HeartMuLa 的模型卡列出中文、英文、日文、韩文和西班牙文。我们没有核实这些清单,所以在决定之前请测试你自己的语言。
- 有像 Suno 那样的开源模型吗?
- 有四个开放的歌曲模型:输入歌词和风格描述,输出一首完整的歌,它们是 MiniMax Music 3、YuE2、ACE-Step 1.5 和 HeartMuLa。ACE-Step 的开发者把自己的模型评为介于 Suno v4.5 和 v5 之间,YuE2 团队称 YuE2 与 Suno v5 和 v6 不相上下。这两种说法都来自开发者自己,而 Suno 本身是托管服务。
本文关键术语
- 扩散模型 扩散模型从随机噪声出发,一步一步去除噪声,最终生成图像或视频。
- LoRA(低秩适配) LoRA 是低秩适配的简称,它通过训练一小组新增的权重来微调模型,而不是改动模型的全部参数。
- 音乐生成 音乐生成模型把文字描述(通常还有歌词)变成音频:带人声的完整歌曲、器乐、实时流式音乐或音效。
- 非商业许可证 非商业许可证允许你把模型用于研究、学习和个人项目,但不允许用它赚钱。
- 营收上限(Revenue cap) 营收上限是一种许可证条件:收入低于某个数额时模型免费使用,超过之后需要另行签订协议。
- 采样步数 采样步数是扩散模型把噪声变成图像或视频所经历的计算轮数。步数越少,结果越快,通常会损失一些细节或多样性。
本文提到的模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| MiniMax Music 3 MiniMax | 11.1B | – | MiniMax Music3 Community (附条件) | 24 GB 游戏显卡 | |
| YuE2 M-A-P | 3.63B | – | CC BY-NC (非商用) | 24 GB 游戏显卡 | |
| ACE-Step 1.5 ACE-Step | 2B – 4B | – | MIT (宽松) | 4 GB 笔记本或手机 | |
| HeartMuLa HeartMuLa | 3.94B | – | Apache 2.0 (宽松) | 26 GB 游戏显卡 | |
| Stable Audio 3 Stability AI | 460M – 1.4B | – | Stability Community (附条件) | 4.02 GB 笔记本或手机 | |
| Magenta RealTime 2 Google DeepMind | 230M – 2.4B | – | CC BY 4.0 (宽松) | 2.53 GB 笔记本或手机 | |
| MOSS-SoundEffect v2.0 OpenMOSS | 1.3B | – | Apache 2.0 (宽松) | 13 GB 笔记本或手机 |