音乐生成

音乐生成模型把文字描述(通常还有歌词)变成音频:带人声的完整歌曲、器乐、实时流式音乐或音效。

  • 模型与架构
  • 更新于

开放的音乐模型承担四种不同的任务。MiniMax Music 3、YuE2、ACE-Step 1.5 和 HeartMuLa 这样的歌曲模型,接收歌词和风格描述并把它们唱出来。Stable Audio 3 这样的器乐模型生成没有人声的音乐,也能生成音效。Magenta RealTime 2 这样的实时模型持续流式输出音频,并在播放时响应文字、音频或 MIDI。MOSS-SoundEffect 这样的音效模型根据一句话生成短片段。大多数模型处理的是压缩后的音频,要么是语言模型预测的 token,要么是扩散模型清理的潜变量,许多模型两者兼用。

质量很难衡量,仅有的几张基准表也来自开发者自己,所以选择之前请先听样音。请检查权重的许可证,它可能是非商业的,也可能与营收挂钩,并注意各开发者对训练数据的说明程度很不一样。出售生成的音乐之前,请就版权问题咨询律师。

相关术语

  • 扩散模型 扩散模型从随机噪声出发,一步一步去除噪声,最终生成图像或视频。
  • 采样步数 采样步数是扩散模型把噪声变成图像或视频所经历的计算轮数。步数越少,结果越快,通常会损失一些细节或多样性。
  • 非商业许可证 非商业许可证允许你把模型用于研究、学习和个人项目,但不允许用它赚钱。
  • 营收上限(Revenue cap) 营收上限是一种许可证条件:收入低于某个数额时模型免费使用,超过之后需要另行签订协议。
  • LoRA(低秩适配) LoRA 是低秩适配的简称,它通过训练一小组新增的权重来微调模型,而不是改动模型的全部参数。

继续阅读

全部术语