Magenta RealTime 2

谷歌的开放实时音乐模型:在 MacBook 上持续演奏,约 200 毫秒内响应文字、音频和 MIDI。

一句话概括. Magenta RealTime 2 与其说是歌曲生成器,不如说是一件实时乐器:你演奏时它不断产出音乐,你可以用文字、示例声音或 MIDI 音符来引导它。它能在 Apple Silicon 的 MacBook 上运行,权重采用 CC BY 4.0。

概述

谷歌 DeepMind 的 Magenta 团队于 2026 年 6 月 4 日发布 Magenta RealTime 2(MRT2),它是最初的 Magenta RealTime 和 Lyria RealTime API 的后续。它不是把提示词变成一首成品曲目,而是持续生成 48 kHz 立体声音频,每次一帧、每帧 40 毫秒,并在每一帧接收控制信号:用文字或音频片段给出的风格,以及 MIDI 音符和鼓点的开关信号。谷歌说控制延迟约为 200 毫秒,比第一版低约 15 倍,并称发布时它是唯一支持低延迟控制的实时、连续音乐生成开放权重模型。

模型是基于 SpectroStream 编解码器 token 的纯解码器 Transformer,用 MusicCoCa 嵌入表示风格,有两种规格:24 亿参数的 Base 和 2.3 亿参数的 Small。谷歌的博客说,Base 需要 M3 Pro 或 M2 Max 及以上的 MacBook,Small 则能在任何 Apple Silicon 的 MacBook(包括 Air)上运行。发布内容包括支持 JAX 和 MLX 的 Python 库、基于 MLX 的 C++ 推理引擎、macOS 插件包,以及既能独立运行也能在数字音频工作站里运行的示例应用。它用约 7.1 万小时的素材库音乐训练,大部分是器乐,所以生成的是器乐,只带非词汇性的人声。谷歌把微调支持列为即将推出。

代码采用 Apache 2.0,权重采用 CC BY 4.0。谷歌另有条款,要求负责任地使用这些材料,不得生成侵犯他人权利的输出,同时声明对你生成的内容不主张任何权利。在截至 2026 年 11 月 11 日的 30 天里,Hugging Face 统计到约 1.96 万次下载。

适合做什么

  • 用 MIDI、文字或音频控制的现场演出、即兴演奏和互动装置
  • 能实时响应玩家的游戏和应用配乐
  • 在 Mac 的数字音频工作站里作为乐器和插件使用
  • 研究流式音乐生成,因为代码和权重都是开放的

需要注意

  • 它生成的是器乐而不是带歌词的歌曲,人声只是非词汇性的声音
  • Base 模型要求 M3 Pro 或 M2 Max 及以上的 Apple Silicon MacBook,谷歌的实时引擎和应用是为 Mac 打造的
  • CC BY 4.0 要求署名谷歌,谷歌的条款禁止侵权输出
  • 微调支持被列为即将推出,目前还不能定制模型

性能数据来自开发方,未经独立验证。

需要多少内存?

以下是 Magenta RealTime 2 各版本的内存数据。图像、视频、语音和音乐管线还要加载文本编码器和解码器,所以所需内存可能比主检查点更大。

版本 参数量 下载大小 所需内存 可运行于
Small (230M) FP32 230M 2.2 GB 2.53 GB 笔记本或手机
Base (2.4B) FP32 2.4B 11 GB 13 GB 笔记本或手机

下载大小包含运行模型所需的全部组件,例如生成器、文本编码器和解码器。所需内存优先采用开发方声明或已公开的实测最低值;没有时按下载大小加约 15% 估算。更大的图像、更长的片段和更高的分辨率需要更多内存。

许可证,用大白话说

一种知识共享许可证,只要署名,任何人都可以出于任何目的(包括商业用途)复制、分享和改编作品。它是为创作和数据类作品设计的,不是为软件设计的,但一些语音和数据发布也把它用在模型权重上。

  • 需要署名或标明模型名称

进一步了解 CC BY 4.0

延伸阅读

常见问题

Magenta RealTime 2 是什么?
Magenta RealTime 2 与其说是歌曲生成器,不如说是一件实时乐器:你演奏时它不断产出音乐,你可以用文字、示例声音或 MIDI 音符来引导它。它能在 Apple Silicon 的 MacBook 上运行,权重采用 CC BY 4.0。
Magenta RealTime 2 可以商用吗?
可以。Magenta RealTime 2 采用 CC BY 4.0 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
Magenta RealTime 2 是开源的吗?
Magenta RealTime 2 是开放权重模型,但不是严格意义上的开源。你可以下载模型文件,但 CC BY 4.0 附带了开源促进会的定义所不允许的条件。
我能在自己的电脑上运行 Magenta RealTime 2 吗?
可以。最小版本 Small (230M) 在 4 位精度下约需 2.53 GB 内存,现代笔记本或中端显卡即可胜任。
Magenta RealTime 2 是什么时候发布的?
Magenta RealTime 2 由 Google DeepMind 于 2026年6月4日 发布。

官方链接

来源

规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。

发布时间等信息最近核实于 2026年11月11日。

相关模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Stable Audio 3 Stability AI 460M – 1.4B – Stability Community (附条件) 4.02 GB 笔记本或手机
ACE-Step 1.5 ACE-Step 2B – 4B – MIT (宽松) 4 GB 笔记本或手机
MiniMax Music 3 MiniMax 11.1B – MiniMax Music3 Community (附条件) 24 GB 游戏显卡
MOSS-SoundEffect v2.0 OpenMOSS 1.3B – Apache 2.0 (宽松) 13 GB 笔记本或手机