음악 생성
음악 생성 모델은 텍스트 설명(흔히 가사 포함)을 오디오로 바꿉니다. 보컬이 들어간 완성곡, 기악곡, 실시간 음악 스트리밍, 효과음 등이 그 결과입니다.
오픈 음악 모델은 네 가지 서로 다른 역할을 합니다. MiniMax Music 3, YuE2, ACE-Step 1.5, HeartMuLa 같은 송(song) 모델은 가사와 스타일 설명을 받아 노래합니다. Stable Audio 3 같은 기악(instrumental) 모델은 보컬 없는 음악과 효과음을 만듭니다. Magenta RealTime 2 같은 라이브 모델은 오디오를 계속 스트리밍하며 재생 중에 텍스트, 오디오, MIDI에 반응합니다. MOSS-SoundEffect 같은 효과음 모델은 한 문장으로 짧은 클립을 만듭니다. 대부분은 압축된 오디오를 다루는데, 언어 모델이 예측하는 토큰으로 처리하거나 확산 모델이 다듬는 잠재 표현으로 처리하며, 두 방식을 함께 쓰는 모델도 많습니다.
품질을 측정하기 어렵고, 몇 안 되는 벤치마크 표도 개발자 자신들이 만든 것이므로 고르기 전에 샘플을 들어보세요. 가중치의 라이선스를 확인하세요. 비상업일 수도 있고 매출에 연동될 수도 있습니다. 또한 개발자들이 학습 데이터를 설명하는 정도는 매우 다르다는 점도 유의하세요. 생성한 음악을 판매하기 전에는 저작권에 대해 변호사와 상담하세요.
관련 용어
- 확산 모델 확산 모델은 무작위 노이즈에서 출발해 노이즈를 한 단계씩 제거하며 이미지나 영상을 만들어 냅니다.
- 샘플링 스텝 수 샘플링 스텝 수는 확산 모델이 노이즈를 이미지나 비디오로 바꾸기까지 거치는 처리 횟수입니다. 스텝이 적을수록 결과가 빠르지만, 보통 세부 묘사나 다양성이 조금 손실됩니다.
- 비상업 라이선스 비상업 라이선스는 모델을 연구, 학습, 개인 프로젝트에 사용할 수는 있지만, 이를 통해 수익을 내는 것은 허용하지 않습니다.
- 매출 상한(Revenue cap) 매출 상한은 라이선스 조건으로, 일정 수입 이하에서는 모델이 무료이고 그 위에서는 별도의 합의가 필요합니다.
- LoRA(저랭크 적응) LoRA는 저랭크 적응(Low-Rank Adaptation)의 줄임말로, 모델의 모든 파라미터를 바꾸는 대신 소수의 추가 가중치를 학습시켜 파인튜닝합니다.