音楽生成

音楽生成モデルは、テキストによる説明(多くの場合は歌詞も)を音声へ変換します。ボーカル入りの完全な曲、インストゥルメンタル、リアルタイムの音楽ストリーム、効果音などです。

  • モデルとアーキテクチャ
  • 更新日

オープンな音楽モデルには 4 つの異なる役割があります。MiniMax Music 3、YuE2、ACE-Step 1.5、HeartMuLa などのソングモデルは、歌詞とスタイルの説明を受け取って歌います。Stable Audio 3 などのインストゥルメンタルモデルはボーカルなしの音楽に加えて効果音も作ります。Magenta RealTime 2 などのライブモデルは音声を絶えずストリーミングし、再生しながらテキスト、音声、MIDI に反応します。MOSS-SoundEffect などの効果音モデルは一文から短いクリップを作ります。ほとんどのモデルは圧縮された音声を扱い、言語モデルが予測するトークンとして、あるいは拡散モデルが清書する潜在表現として処理し、両方を組み合わせるモデルも多くあります。

品質は測りにくく、数少ないベンチマーク表は開発者自身によるものなので、選ぶ前にサンプル音源を聴いてください。重みのライセンスを確認しましょう。非商用の場合もあれば、売上に連動する場合もあります。また、開発者によるトレーニングデータの説明の詳しさには大きな差がある点にも注意が必要です。生成した音楽を売る前に、著作権については弁護士に相談してください。

関連用語

  • 拡散モデル(Diffusion model) 拡散モデルはランダムなノイズから出発し、ノイズを一歩一歩取り除いていくことで画像や動画を生成します。
  • サンプリングステップ数 サンプリングステップ数は、拡散モデルがノイズを画像や動画へ変えるまでに繰り返す処理の回数です。ステップが少ないほど速く結果が出ますが、通常は細部やバラエティがやや失われます。
  • 非商用ライセンス 非商用ライセンスでは、研究・学習・個人プロジェクトでのモデル利用は認められますが、収益を目的とした利用は認められません。
  • 売上上限(Revenue cap) 売上上限はライセンスの条件の 1 つで、一定の収入を下回ればモデルは無料で使え、上回ると別途合意が必要になります。
  • LoRA(低ランク適応) LoRA は「低ランク適応(low-rank adaptation)」の略称で、モデルの全パラメータを変更する代わりに、追加した少数の重みを学習することでファインチューニングを行います。

すべての用語