Musikgenerierung

Musikgenerierungs-Modelle verwandeln eine Textbeschreibung, oft auch Liedtexte, in Audio: komplette Songs mit Gesang, Instrumentalstücke, Live-Streams von Musik oder Soundeffekte.

  • Modelle und Architektur
  • Aktualisiert

Offene Musikmodelle erledigen vier verschiedene Aufgaben. Songmodelle wie MiniMax Music 3, YuE2, ACE-Step 1.5 und HeartMuLa nehmen Liedtexte und eine Stilbeschreibung entgegen und singen sie. Instrumentalmodelle wie Stable Audio 3 erzeugen Musik ohne Gesang sowie Soundeffekte. Live-Modelle wie Magenta RealTime 2 streamen Audio fortlaufend und reagieren während der Wiedergabe auf Text, Audio oder MIDI. Soundeffekt-Modelle wie MOSS-SoundEffect erstellen aus einem Satz kurze Clips. Die meisten arbeiten mit komprimiertem Audio, entweder als Tokens, die ein Sprachmodell vorhersagt, oder als Latents, die ein Diffusionsmodell bereinigt, und viele kombinieren beides.

Qualität ist schwer zu messen, und die wenigen Benchmark-Tabellen stammen von den Entwicklern selbst; hören Sie sich also Samples an, bevor Sie sich entscheiden. Prüfen Sie die Lizenz der Gewichte – sie kann nicht-kommerziell sein oder an den Umsatz gekoppelt – und beachten Sie, dass die Entwickler ihre Trainingsdaten sehr unterschiedlich ausführlich beschreiben. Fragen Sie einen Anwalt zum Urheberrecht, bevor Sie generierte Musik verkaufen.

Verwandte Begriffe

  • Diffusionsmodell Ein Diffusionsmodell erzeugt Bilder oder Videos, indem es von zufälligem Rauschen ausgeht und das Rauschen Schritt für Schritt entfernt, bis ein Bild entsteht.
  • Sampling-Schritte Sampling-Schritte sind die Anzahl der Durchläufe, die ein Diffusionsmodell braucht, um aus Rauschen ein Bild oder Video zu machen. Weniger Schritte heißt schnellere Ergebnisse, meist mit etwas Verlust an Detail oder Vielfalt.
  • Nicht-kommerzielle Lizenz Eine nicht-kommerzielle Lizenz erlaubt die Nutzung eines Modells für Forschung, Studium und private Projekte, aber nicht, damit Geld zu verdienen.
  • Umsatzobergrenze (Revenue Cap) Eine Umsatzobergrenze ist eine Lizenzbedingung, die ein Modell unterhalb eines bestimmten Einkommens kostenlos macht und oberhalb eine gesonderte Vereinbarung verlangt.
  • LoRA (Low-Rank-Adaption) LoRA, kurz für Low-Rank Adaptation, feinjustiert ein Modell, indem es einen kleinen Satz hinzugefügter Gewichte trainiert, statt alle Parameter zu verändern.

Alle Begriffe