如何选择开源音乐生成模型

按生成内容、硬件要求和许可证对比开放的音乐与音效模型:MiniMax Music 3、YuE2、ACE-Step 1.5、HeartMuLa、Stable Audio 3、Magenta RealTime 2 和 MOSS-SoundEffect。

  • 入门
  • 阅读约 9 分钟
  • 发布于
  • 更新于

简短回答。 想要带人声的完整歌曲,又要宽松的许可证,先试 ACE-Step 1.5(MIT,约 4 GB 显存起)或 HeartMuLa(Apache 2.0)。MiniMax Music 3 能写出最长五分钟的歌曲,允许标注其名称的商业产品,YuE2 在自己团队的基准里得分最高,但只能非商业使用。需要器乐和音效的话,Stable Audio 3 能在 8 GB 的 GPU 上运行,它的 Small 版本甚至能在笔记本 CPU 上运行。Magenta RealTime 2 是 Apple Silicon MacBook 上的实时乐器,MOSS-SoundEffect v2.0 以 Apache 2.0 生成音效。音质因人而异,决定之前请先听一听。

要看什么

开放的音乐模型承担四种任务之一,任务比任何分数都重要:

  1. 带人声的歌曲。 输入歌词和风格描述,输出一首成品歌曲。MiniMax Music 3、YuE2、ACE-Step 1.5 和 HeartMuLa 做的是这件事。
  2. 器乐。 输入文字提示,输出没有演唱的音乐,通常还支持补全或续写。Stable Audio 3 做的是这件事。
  3. 实时音乐。 音频持续流式输出,播放时就能响应文字、音频或 MIDI。Magenta RealTime 2 做的是这件事。
  4. 音效。 输入一句话,输出一个短片段。MOSS-SoundEffect v2.0 和 Stable Audio 3 的音效模型做的是这件事。

然后比较硬件要求、许可证,以及开发者对训练数据的说明。我们的音乐与音效生成榜单涵盖了收录的所有模型,词汇表条目音乐生成解释了相关术语。

候选清单

模型 规模 许可证 生成内容 硬件
MiniMax Music 3 11.1B MiniMax-Music3 Community License 带人声的歌曲,最长 5 分钟,32 kHz BF16 下 24 GB 的 GPU,卸载后可更少
YuE2 3.6B CC BY-NC 4.0 由可编辑乐谱生成的歌曲,48 kHz 24 GB 的 GPU,峰值 11 到 14 GiB
ACE-Step 1.5 2B 或 4B DiT,外加 0.6B 到 4B 的规划模型 MIT 10 秒到 10 分钟的歌曲,歌词支持 50 多种语言 约 4 GB(2B turbo),12 到 20 GB(XL)
HeartMuLa 3.9B Apache 2.0 最长 4 分钟的歌曲,48 kHz 文件约 22 GB,没有显存数字
Stable Audio 3 Medium 1.4B,Small 0.46B Stability AI Community License 器乐和音效,最长 6 分 20 秒 Medium 约 8 GB,Small 可用 CPU
Magenta RealTime 2 Base 2.4B,Small 230M 权重 CC BY 4.0,代码 Apache 2.0 实时器乐,48 kHz Apple Silicon 的 MacBook
MOSS-SoundEffect v2.0 1.3B Apache 2.0 最长 30 秒的音效,48 kHz 没有显存数字,文件 11 GB

按用途选择

  • 在游戏显卡上快速出歌曲草稿。 ACE-Step 1.5。它的开发者称,在 RTX 3090 上生成一首完整歌曲不到 10 秒,2B turbo 模型不到 4 GB 显存就能运行。它还支持翻唱、局部重绘、分轨,以及用几首歌训练 LoRA。这些速度是开发者自己给出的数字。
  • 可以出售的歌曲。 ACE-Step 1.5(MIT)和 HeartMuLa(Apache 2.0)的条款最简单。HeartMuLa 能用中文、英文、日文、韩文或西班牙文写出最长四分钟的歌曲,生成速度约为实时,但参考音频条件控制仍列为即将推出。
  • 根据详细提示生成较长、结构清晰的歌曲。 MiniMax Music 3 接收带 [Verse]、[Chorus] 标签的歌词,加上对风格、速度、调性、人声和编曲的描述,能写出最长五分钟的歌。它是歌曲模型里最大的,有 11.1B 参数,需要 CUDA。
  • 渲染之前就能编辑的歌曲。 YuE2 先把旋律和和弦写成可读的乐谱,所以你可以修改音符或带入自己的乐谱,还能根据转写生成翻唱。它只能非商业使用。
  • 视频或游戏的背景音乐、循环片段和草稿。 Stable Audio 3 大约八步采样就能生成最长 6 分 20 秒的器乐,还能补全、续写和编辑音频。它不会唱歌。
  • 音效。 MOSS-SoundEffect v2.0 支持中英文提示,采用 Apache 2.0,但要 100 步采样;Stable Audio 3 的音效模型只需八步,不过许可证设有营收上限。
  • 可以现场演奏的实时乐器。 据谷歌介绍,Magenta RealTime 2 约 200 毫秒内就能响应文字、音频和 MIDI,它是为 Apple Silicon 的 Mac 打造的。
  • 没有独立显卡的笔记本。 Stable Audio 3 的 Small 模型能在 CPU 上运行,Stability 实测在 MacBook Pro M4 上生成两分钟音频约 6 秒。Magenta RealTime 2 的 Small 模型能在任何 Apple Silicon 的 MacBook 上运行。

看演示之前,先看许可证

要了解四种模式:

  • 朴素宽松。 ACE-Step 1.5 的代码和权重都是 MIT,HeartMuLa 和 MOSS-SoundEffect v2.0 是 Apache 2.0。HeartMuLa 另外发布的翻唱模型 MuLaCover 是 CC BY-NC。
  • 署名加营收线。 MiniMax-Music3 Community License 要求产品标注“MiniMax-Music3”,年营收超过 2000 万美元需要书面授权,并要求托管方保留防止侵权输出的保障措施。Stable Audio 3 的 Stability AI Community License 在年营收低于 100 万美元时免费,需要先登记,要求标注“Powered by Stability AI”,并禁止用这些模型或其输出来构建另一个基础模型。词汇表条目营收上限解释了这种模式。
  • 只要求署名。 Magenta RealTime 2 的权重是 CC BY 4.0,谷歌的条款另外加入了负责任使用的规则,并禁止侵犯他人权利的输出。
  • 非商业。 YuE2 采用 CC BY-NC,出售它的歌曲或运营收费服务都需要作者许可。参见非商业许可证。

AI 模型许可证详解介绍了一般规则。

训练数据与版权

权重的许可证并不能说明模型学习过哪些音乐,而各开发者对此的说明程度很不一样:

  • ACE-Step 的开发者称,他们使用了授权音乐、免版税和公有领域的录音,以及由 MIDI 合成的音频。我们没有核实这一点。
  • Stable Audio 3 的报告列出约 80.6 万条 AudioSparx 授权录音,以及约 47 万条来自 Freesound 的知识共享录音。
  • Magenta RealTime 2 用约 7.1 万小时的素材库音乐训练,大部分是器乐。
  • MiniMax Music 3、YuE2 和 HeartMuLa 的模型卡没有说明训练数据。

出售生成的音乐之前,请咨询律师,保留你用过的提示词和设置,并避免模仿在世艺术家的声音或风格。

像听众一样测试

从你的真实用途里挑五个提示词:一个风格和情绪、一个速度、你需要的每种语言的一段歌词,做音效的话再加上你真正想要的声音。每个提示词用两三个候选模型生成,盲听比较。在自己的硬件上给一次完整生成计时,因为公布的速度都是最好情况。歌曲模型可能偏离你要求的速度、调性或歌词,所以除了风格,也要听歌词是否清晰、结构是否合理。如何自己评估 AI 模型解释了如何把这些变成可重复的测试。

常见问题

哪个开源音乐模型听起来最好?
我们无法给出独立的排名。能把几个开放歌曲模型放在一起比较的只有 YuE2 团队自己的 WildSongBench,其中 YuE2 得 6.73 分,MiniMax Music 3 得 6.28 分,HeartMuLa 得 6.25 分,ACE-Step 1.5 得 6.01 分,托管服务 Suno v5 得 6.87 分。这些分数都来自同一个开发者。请用两三个模型生成同样的五个提示词,再盲听比较。
哪些开源音乐模型可以用于商业产品?
ACE-Step 1.5 采用 MIT,HeartMuLa 和 MOSS-SoundEffect v2.0 采用 Apache 2.0。MiniMax Music 3 允许标注 MiniMax-Music3 名称的商业产品,年营收超过 2000 万美元的公司需要书面授权。Stable Audio 3 在年营收低于 100 万美元时可以免费商用,需要先登记并标注 Powered by Stability AI。Magenta RealTime 2 的权重是 CC BY 4.0,需要署名谷歌并遵守它的条款。YuE2 是 CC BY-NC 4.0,只能非商业使用,HeartMuLa 另外发布的 MuLaCover 模型也是如此。
音乐模型需要多大的 GPU 显存?
从几乎不需要到 24 GB 不等。Stable Audio 3 的 Small 模型能在笔记本 CPU 上运行,Magenta RealTime 2 的 Small 模型能在任何 Apple Silicon 的 MacBook 上运行。ACE-Step 的开发者称它的 2B turbo 模型不到 4 GB 显存就能运行,Stable Audio 3 Medium 需要约 8 GB。YuE2 的模型卡要求支持 BF16 的 24 GB GPU,MiniMax Music 3 在 BF16 下能放进 24 GB 的 GPU,用逐层卸载甚至能在 8 GB 显卡上运行,只是更慢。
能用开源模型做音效吗?
可以。MOSS-SoundEffect v2.0(Apache 2.0)能根据中英文提示生成最长 30 秒的片段。Stable Audio 3 有可生成最长 2 分钟片段的 Small SFX 模型,还有既能做音乐又能做音效、最长 6 分 20 秒的 Medium 模型,许可证在年营收低于 100 万美元时免费。
开源模型能唱英语以外的语言吗?
ACE-Step 1.5 称它的歌词支持 50 多种语言,HeartMuLa 的模型卡列出中文、英文、日文、韩文和西班牙文。我们没有核实这些清单,所以在决定之前请测试你自己的语言。
有像 Suno 那样的开源模型吗?
有四个开放的歌曲模型:输入歌词和风格描述,输出一首完整的歌,它们是 MiniMax Music 3、YuE2、ACE-Step 1.5 和 HeartMuLa。ACE-Step 的开发者把自己的模型评为介于 Suno v4.5 和 v5 之间,YuE2 团队称 YuE2 与 Suno v5 和 v6 不相上下。这两种说法都来自开发者自己,而 Suno 本身是托管服务。

本文关键术语

  • 扩散模型 扩散模型从随机噪声出发,一步一步去除噪声,最终生成图像或视频。
  • LoRA(低秩适配) LoRA 是低秩适配的简称,它通过训练一小组新增的权重来微调模型,而不是改动模型的全部参数。
  • 音乐生成 音乐生成模型把文字描述(通常还有歌词)变成音频:带人声的完整歌曲、器乐、实时流式音乐或音效。
  • 非商业许可证 非商业许可证允许你把模型用于研究、学习和个人项目,但不允许用它赚钱。
  • 营收上限(Revenue cap) 营收上限是一种许可证条件:收入低于某个数额时模型免费使用,超过之后需要另行签订协议。
  • 采样步数 采样步数是扩散模型把噪声变成图像或视频所经历的计算轮数。步数越少,结果越快,通常会损失一些细节或多样性。

本文提到的模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
MiniMax Music 3 MiniMax 11.1B – MiniMax Music3 Community (附条件) 24 GB 游戏显卡
YuE2 M-A-P 3.63B – CC BY-NC (非商用) 24 GB 游戏显卡
ACE-Step 1.5 ACE-Step 2B – 4B – MIT (宽松) 4 GB 笔记本或手机
HeartMuLa HeartMuLa 3.94B – Apache 2.0 (宽松) 26 GB 游戏显卡
Stable Audio 3 Stability AI 460M – 1.4B – Stability Community (附条件) 4.02 GB 笔记本或手机
Magenta RealTime 2 Google DeepMind 230M – 2.4B – CC BY 4.0 (宽松) 2.53 GB 笔记本或手机
MOSS-SoundEffect v2.0 OpenMOSS 1.3B – Apache 2.0 (宽松) 13 GB 笔记本或手机