Geração de música
Modelos de geração de música transformam uma descrição em texto (e, muitas vezes, uma letra) em áudio: músicas completas com vocais, faixas instrumentais, transmissões de música ao vivo ou efeitos sonoros.
Os modelos de música abertos fazem quatro trabalhos diferentes. Modelos de canção como MiniMax Music 3, YuE2, ACE-Step 1.5 e HeartMuLa recebem a letra e uma descrição de estilo e as cantam. Modelos instrumentais como o Stable Audio 3 criam música sem vocais, além de efeitos sonoros. Modelos ao vivo como o Magenta RealTime 2 transmitem áudio continuamente e reagem a texto, áudio ou MIDI enquanto toca. Modelos de efeitos sonoros como o MOSS-SoundEffect criam clipes curtos a partir de uma frase. A maioria trabalha com áudio comprimido, seja como tokens que um modelo de linguagem prevê, seja como latentes que um modelo de difusão limpa, e muitos combinam os dois.
A qualidade é difícil de medir, e as poucas tabelas de benchmark vêm dos próprios desenvolvedores, por isso ouça amostras antes de escolher. Verifique a licença dos pesos, que pode ser não comercial ou estar atrelada à receita, e note que os desenvolvedores descrevem seus dados de treinamento em graus muito diferentes. Consulte um advogado sobre direitos autorais antes de vender música gerada.
Termos relacionados
- Modelo de difusão Um modelo de difusão gera imagens ou vídeo partindo de ruído aleatório e removendo o ruído passo a passo até que uma imagem apareça.
- Passos de amostragem Passos de amostragem são o número de passadas que um modelo de difusão faz para transformar ruído em uma imagem ou vídeo. Menos passos significam resultados mais rápidos, geralmente com alguma perda de detalhe ou variedade.
- Licença não comercial Uma licença não comercial permite usar um modelo para pesquisa, estudo e projetos pessoais, mas não para ganhar dinheiro com ele.
- Limite de receita (revenue cap) Um limite de receita é uma condição de licença que torna um modelo gratuito abaixo de certa receita e exige um acordo separado acima dela.
- LoRA (adaptação de baixo posto) LoRA, sigla de low-rank adaptation, ajusta um modelo treinando um pequeno conjunto de pesos adicionais em vez de mudar todos os seus parâmetros.