HeartMuLa
HeartMuLa 团队的 Apache 2.0 开放歌曲模型:输入歌词和风格标签,输出最长四分钟的歌曲。
一句话概括. HeartMuLa 能根据歌词和一组风格标签写出带人声的完整歌曲。权重采用 Apache 2.0,可以商用,README 称它的生成速度约为实时。
概述
HeartMuLa 是 HeartMuLa 团队开放音乐模型家族里的歌曲生成模型,团队于 2026 年 1 月 14 日发布了第一个检查点。它是一个约 39 亿参数的语言模型(名称里写作 3B),根据带段落标记的歌词和一组标签预测音频 token。另一个 12.5 Hz 的编解码器 HeartCodec 把 token 变成 48 kHz 立体声音频,同一个项目还发布了基于 Whisper 的歌词识别模型 HeartTranscriptor。模型卡列出了中文、英语、日语、韩语和西班牙语。论文(arXiv 2601.10547)还介绍了逐段风格控制和用作短视频背景音乐的短片段模式,但 README 把参考音频条件和细粒度控制列为开源版本中尚未提供的功能。
推荐使用的检查点是 2026 年 2 月 13 日发布的 HeartMuLa-oss-3B-happy-new-year,配合 HeartCodec-oss-20260123。文件按 32 位精度存储,所以两个下载合计约 22 GB。README 称生成速度约为实时(实时因子约 1.0),默认生成最长四分钟的歌曲,单块 GPU 显存不足时建议使用延迟加载,但没有给出最低显存。团队说,它内部更大的 7B 模型在音乐性、保真度和可控性上与 Suno 相当,但该模型没有发布。在 YuE2 团队的 WildSongBench 中,HeartMuLa 的 SongBench 平均分是 6.25,低于 YuE2(6.73)和 MiniMax Music 3(6.28),它 5.50 的音乐性得分是该表格里除 YuE2 之外最高的开放模型。
权重采用 Apache 2.0:2026 年 1 月 20 日,团队把仓库和所有相关权重的许可证改为 Apache 2.0。2026 年 9 月发布的翻唱模型 MuLaCover 位于另一个仓库,采用 CC BY-NC 4.0,只能非商业使用。在截至 2026 年 11 月 11 日的 30 天里,Hugging Face 统计到推荐检查点约 3100 次下载,远少于那些更受欢迎的音乐模型。
适合做什么
- 在宽松许可证下,用自己的歌词和风格标签生成带人声的歌曲
- 有论文、音频编解码器和歌词识别模型的研究基线
- 需要 Apache 2.0 权重的完整歌曲生成器的商业项目
- 中文、英语、日语、韩语或西班牙语歌词
需要注意
- 论文介绍的参考音频条件和细粒度分段控制,被列为开源版本中尚未提供的功能
- 团队拿来与 Suno 对比的 7B 模型是内部模型,没有发布
- 检查点按 32 位精度存储,README 没有给出最低显存,请在自己的 GPU 上测试
- 翻唱模型 MuLaCover 采用 CC BY-NC 4.0,而且模型卡没有说明训练数据
性能数据来自开发方,未经独立验证。
需要多少内存?
以下是 HeartMuLa 各版本的内存数据。图像、视频、语音和音乐管线还要加载文本编码器和解码器,所以所需内存可能比主检查点更大。
| 版本 | 参数量 | 下载大小 | 所需内存 | 可运行于 |
|---|---|---|---|---|
| oss-3B happy-new-year with HeartCodec (FP32 files) FP32 | 3.94B | 22 GB | 26 GB | 游戏显卡 |
下载大小包含运行模型所需的全部组件,例如生成器、文本编码器和解码器。所需内存优先采用开发方声明或已公开的实测最低值;没有时按下载大小加约 15% 估算。更大的图像、更长的片段和更高的分辨率需要更多内存。
许可证,用大白话说
最常见的宽松型许可证之一。你可以使用、修改模型并基于它销售产品,只需遵守少量条件。
延伸阅读
常见问题
- HeartMuLa 是什么?
- HeartMuLa 能根据歌词和一组风格标签写出带人声的完整歌曲。权重采用 Apache 2.0,可以商用,README 称它的生成速度约为实时。
- HeartMuLa 可以商用吗?
- 可以。HeartMuLa 采用 Apache 2.0 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
- HeartMuLa 是开源的吗?
- HeartMuLa 采用 Apache 2.0 发布,该许可证经开源促进会(OSI)认可。训练数据和训练代码不一定公开,因此更准确的说法是“采用开源许可证的开放权重模型”。
- 我能在自己的电脑上运行 HeartMuLa 吗?
- 可以,但需要一块好显卡。最小版本 oss-3B happy-new-year with HeartCodec (FP32 files) 在 4 位精度下约需 26 GB 内存,适合 24 至 32 GB 的游戏显卡,或 32 GB 及以上内存的 Mac。
- HeartMuLa 是什么时候发布的?
- HeartMuLa 由 HeartMuLa 于 2026年1月14日 发布。
官方链接
来源
规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。
- HeartMuLa-oss-3B-happy-new-year model card (Hugging Face) huggingface.co
- HeartMuLa repository: release news, license update and deployment guide (GitHub) github.com
- HeartMuLa: A Family of Open Sourced Music Foundation Models (arXiv) arxiv.org
- HeartMuLa project page and demos heartmula.github.io
- MuLaCover model card, CC BY-NC 4.0 (Hugging Face) huggingface.co
- YuE2-3B model card, WildSongBench comparison table (Hugging Face) huggingface.co
发布时间等信息最近核实于 2026年11月11日。
相关模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| YuE2 M-A-P | 3.63B | – | CC BY-NC (非商用) | 24 GB 游戏显卡 | |
| MiniMax Music 3 MiniMax | 11.1B | – | MiniMax Music3 Community (附条件) | 24 GB 游戏显卡 | |
| ACE-Step 1.5 ACE-Step | 2B – 4B | – | MIT (宽松) | 4 GB 笔记本或手机 | |
| Stable Audio 3 Stability AI | 460M – 1.4B | – | Stability Community (附条件) | 4.02 GB 笔记本或手机 |