HeartMuLa

HeartMuLa 团队的 Apache 2.0 开放歌曲模型:输入歌词和风格标签,输出最长四分钟的歌曲。

一句话概括. HeartMuLa 能根据歌词和一组风格标签写出带人声的完整歌曲。权重采用 Apache 2.0,可以商用,README 称它的生成速度约为实时。

概述

HeartMuLa 是 HeartMuLa 团队开放音乐模型家族里的歌曲生成模型,团队于 2026 年 1 月 14 日发布了第一个检查点。它是一个约 39 亿参数的语言模型(名称里写作 3B),根据带段落标记的歌词和一组标签预测音频 token。另一个 12.5 Hz 的编解码器 HeartCodec 把 token 变成 48 kHz 立体声音频,同一个项目还发布了基于 Whisper 的歌词识别模型 HeartTranscriptor。模型卡列出了中文、英语、日语、韩语和西班牙语。论文(arXiv 2601.10547)还介绍了逐段风格控制和用作短视频背景音乐的短片段模式,但 README 把参考音频条件和细粒度控制列为开源版本中尚未提供的功能。

推荐使用的检查点是 2026 年 2 月 13 日发布的 HeartMuLa-oss-3B-happy-new-year,配合 HeartCodec-oss-20260123。文件按 32 位精度存储,所以两个下载合计约 22 GB。README 称生成速度约为实时(实时因子约 1.0),默认生成最长四分钟的歌曲,单块 GPU 显存不足时建议使用延迟加载,但没有给出最低显存。团队说,它内部更大的 7B 模型在音乐性、保真度和可控性上与 Suno 相当,但该模型没有发布。在 YuE2 团队的 WildSongBench 中,HeartMuLa 的 SongBench 平均分是 6.25,低于 YuE2(6.73)和 MiniMax Music 3(6.28),它 5.50 的音乐性得分是该表格里除 YuE2 之外最高的开放模型。

权重采用 Apache 2.0:2026 年 1 月 20 日,团队把仓库和所有相关权重的许可证改为 Apache 2.0。2026 年 9 月发布的翻唱模型 MuLaCover 位于另一个仓库,采用 CC BY-NC 4.0,只能非商业使用。在截至 2026 年 11 月 11 日的 30 天里,Hugging Face 统计到推荐检查点约 3100 次下载,远少于那些更受欢迎的音乐模型。

适合做什么

  • 在宽松许可证下,用自己的歌词和风格标签生成带人声的歌曲
  • 有论文、音频编解码器和歌词识别模型的研究基线
  • 需要 Apache 2.0 权重的完整歌曲生成器的商业项目
  • 中文、英语、日语、韩语或西班牙语歌词

需要注意

  • 论文介绍的参考音频条件和细粒度分段控制,被列为开源版本中尚未提供的功能
  • 团队拿来与 Suno 对比的 7B 模型是内部模型,没有发布
  • 检查点按 32 位精度存储,README 没有给出最低显存,请在自己的 GPU 上测试
  • 翻唱模型 MuLaCover 采用 CC BY-NC 4.0,而且模型卡没有说明训练数据

性能数据来自开发方,未经独立验证。

需要多少内存?

以下是 HeartMuLa 各版本的内存数据。图像、视频、语音和音乐管线还要加载文本编码器和解码器,所以所需内存可能比主检查点更大。

版本 参数量 下载大小 所需内存 可运行于
oss-3B happy-new-year with HeartCodec (FP32 files) FP32 3.94B 22 GB 26 GB 游戏显卡

下载大小包含运行模型所需的全部组件,例如生成器、文本编码器和解码器。所需内存优先采用开发方声明或已公开的实测最低值;没有时按下载大小加约 15% 估算。更大的图像、更长的片段和更高的分辨率需要更多内存。

许可证,用大白话说

最常见的宽松型许可证之一。你可以使用、修改模型并基于它销售产品,只需遵守少量条件。

进一步了解 Apache 2.0

延伸阅读

常见问题

HeartMuLa 是什么?
HeartMuLa 能根据歌词和一组风格标签写出带人声的完整歌曲。权重采用 Apache 2.0,可以商用,README 称它的生成速度约为实时。
HeartMuLa 可以商用吗?
可以。HeartMuLa 采用 Apache 2.0 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
HeartMuLa 是开源的吗?
HeartMuLa 采用 Apache 2.0 发布,该许可证经开源促进会(OSI)认可。训练数据和训练代码不一定公开,因此更准确的说法是“采用开源许可证的开放权重模型”。
我能在自己的电脑上运行 HeartMuLa 吗?
可以,但需要一块好显卡。最小版本 oss-3B happy-new-year with HeartCodec (FP32 files) 在 4 位精度下约需 26 GB 内存,适合 24 至 32 GB 的游戏显卡,或 32 GB 及以上内存的 Mac。
HeartMuLa 是什么时候发布的?
HeartMuLa 由 HeartMuLa 于 2026年1月14日 发布。

官方链接

来源

规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。

发布时间等信息最近核实于 2026年11月11日。

相关模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
YuE2 M-A-P 3.63B – CC BY-NC (非商用) 24 GB 游戏显卡
MiniMax Music 3 MiniMax 11.1B – MiniMax Music3 Community (附条件) 24 GB 游戏显卡
ACE-Step 1.5 ACE-Step 2B – 4B – MIT (宽松) 4 GB 笔记本或手机
Stable Audio 3 Stability AI 460M – 1.4B – Stability Community (附条件) 4.02 GB 笔记本或手机