Génération de musique
Les modèles de génération de musique transforment une description en texte, souvent avec des paroles, en audio : chansons complètes avec voix, pistes instrumentales, musique en flux continu ou effets sonores.
Les modèles de musique ouverts accomplissent quatre travaux différents. Les modèles de chanson comme MiniMax Music 3, YuE2, ACE-Step 1.5 et HeartMuLa prennent des paroles et une description de style et les chantent. Les modèles instrumentaux comme Stable Audio 3 créent de la musique sans voix, ainsi que des effets sonores. Les modèles en direct comme Magenta RealTime 2 diffusent l'audio en continu et réagissent au texte, à l'audio ou au MIDI pendant la lecture. Les modèles d'effets sonores comme MOSS-SoundEffect créent de courts clips à partir d'une phrase. La plupart travaillent sur de l'audio compressé, sous forme de tokens qu'un modèle de langage prédit ou de latents qu'un modèle de diffusion nettoie, et beaucoup combinent les deux.
La qualité est difficile à mesurer, et les rares tableaux de benchmark viennent des développeurs eux-mêmes ; écoutez donc des échantillons avant de choisir. Vérifiez la licence des poids, qui peut être non commerciale ou liée aux revenus, et notez que les développeurs décrivent leurs données d'entraînement à des degrés très variables. Consultez un avocat au sujet du droit d'auteur avant de vendre de la musique générée.
Termes associés
- Modèle de diffusion Un modèle de diffusion génère des images ou des vidéos en partant d'un bruit aléatoire et en retirant le bruit étape par étape jusqu'à ce qu'une image apparaisse.
- Étapes d'échantillonnage Les étapes d'échantillonnage sont le nombre de passages qu'effectue un modèle de diffusion pour transformer du bruit en image ou en vidéo. Moins d'étapes signifie des résultats plus rapides, avec d'habitude une certaine perte de détail ou de variété.
- Licence non commerciale Une licence non commerciale vous permet d'utiliser un modèle pour la recherche, l'étude et les projets personnels, mais pas pour en tirer de l'argent.
- Plafond de revenus (revenue cap) Un plafond de revenus est une condition de licence qui rend un modèle gratuit en dessous d'un certain revenu et exige un accord séparé au-delà.
- LoRA (adaptation de bas rang) LoRA, sigle de low-rank adaptation, ajuste un modèle en entraînant un petit ensemble de poids ajoutés au lieu de modifier tous ses paramètres.