Генерация музыки

Модели генерации музыки превращают текстовое описание (часто вместе с текстом песни) в аудио: полные песни с вокалом, инструментальные треки, музыку в реальном времени или звуковые эффекты.

  • Модели и архитектура
  • Обновлено

Открытые музыкальные модели выполняют четыре разные задачи. Песенные модели, такие как MiniMax Music 3, YuE2, ACE-Step 1.5 и HeartMuLa, берут текст песни с описанием стиля и поют его. Инструментальные модели вроде Stable Audio 3 создают музыку без вокала, а также звуковые эффекты. Модели реального времени вроде Magenta RealTime 2 непрерывно стримят аудио и реагируют на текст, звук или MIDI во время воспроизведения. Модели звуковых эффектов вроде MOSS-SoundEffect создают короткие клипы из одного предложения. Большинство работает со сжатым аудио — в виде токенов, которые предсказывает языковая модель, или в виде латентов, которые «очищает» диффузионная модель, — а многие комбинируют оба подхода.

Качество трудно измерить, а немногочисленные таблицы бенчмарков составлены самими разработчиками, поэтому послушайте примеры, прежде чем выбирать. Проверьте лицензию на веса — она может быть некоммерческой или привязанной к выручке, — и учтите, что разработчики описывают свои обучающие данные с очень разной степенью подробности. Прежде чем продавать сгенерированную музыку, проконсультируйтесь с юристом по вопросам авторских прав.

Связанные термины

  • Диффузионная модель Диффузионная модель генерирует изображения или видео, стартуя со случайного шума и убирая шум шаг за шагом, пока не проявится картинка.
  • Шаги сэмплирования Шаги сэмплирования — это число проходов, которые делает диффузионная модель, превращая шум в изображение или видео. Меньше шагов — быстрее результат, обычно с некоторой потерей детализации или разнообразия.
  • Некоммерческая лицензия Некоммерческая лицензия позволяет использовать модель для исследований, учёбы и личных проектов, но не для извлечения из неё прибыли.
  • Ограничение по выручке (revenue cap) Ограничение по выручке — это условие лицензии, при котором модель бесплатна, пока доход ниже определённой суммы, а выше требуется отдельное соглашение.
  • LoRA (низкоранговая адаптация) LoRA, сокращение от low-rank adaptation, дообучает модель, тренируя небольшой набор добавленных весов вместо изменения всех её параметров.

Все термины