Generación de música
Los modelos de generación de música convierten una descripción en texto (y a menudo una letra) en audio: canciones completas con voz, pistas instrumentales, música en directo o efectos de sonido.
Los modelos de música abiertos hacen cuatro trabajos distintos. Los modelos de canciones como MiniMax Music 3, YuE2, ACE-Step 1.5 y HeartMuLa toman una letra y una descripción de estilo y las cantan. Los modelos instrumentales como Stable Audio 3 crean música sin voz, además de efectos de sonido. Los modelos en directo como Magenta RealTime 2 transmiten audio de forma continua y reaccionan a texto, audio o MIDI mientras suena. Los modelos de efectos de sonido como MOSS-SoundEffect crean clips cortos a partir de una frase. La mayoría trabaja con audio comprimido, ya sea como tokens que un modelo de lenguaje predice o como latentes que un modelo de difusión depura, y muchos combinan ambos.
La calidad es difícil de medir y las pocas tablas de benchmark provienen de los propios desarrolladores, así que escucha muestras antes de elegir. Revisa la licencia de los pesos, que puede ser no comercial o estar ligada a los ingresos, y ten en cuenta que los desarrolladores describen sus datos de entrenamiento en grados muy distintos. Consulta a un abogado sobre los derechos de autor antes de vender música generada.
Términos relacionados
- Modelo de difusión Un modelo de difusión genera imágenes o vídeo partiendo de ruido aleatorio y quitando el ruido paso a paso hasta que emerge una imagen.
- Pasos de muestreo Los pasos de muestreo son el número de pasadas que hace un modelo de difusión para convertir ruido en una imagen o un vídeo. Menos pasos significan resultados más rápidos, normalmente con alguna pérdida de detalle o variedad.
- Licencia no comercial Una licencia no comercial te permite usar un modelo para investigación, estudio y proyectos personales, pero no para ganar dinero con él.
- Límite de ingresos (revenue cap) Un límite de ingresos es una condición de licencia que deja un modelo gratis por debajo de ciertos ingresos y exige un acuerdo aparte por encima.
- LoRA (adaptación de bajo rango) LoRA, siglas de low-rank adaptation, ajusta un modelo entrenando un pequeño conjunto de pesos añadidos en lugar de cambiar todos sus parámetros.