압축한 음악의 시퀀스
실제 오디오를 여러 압축 이산 표현의 흐름으로 바꾸고 이를 언어 모델이 예측하게 한다. MusicGen은 여러 생성 모델을 계단식으로 연결하는 대신 단일 단계의 트랜스포머 언어 모델을 사용한다.
스트림의 순서 구성
효율적인 토큰 인터리빙 패턴으로 여러 스트림을 다룬다. 단일 단계라는 설명은 음악의 표현과 파형 복원 등 시스템 전체에 모듈이 하나뿐이라는 뜻은 아니다.
조건 제어와 평가
문장 설명이나 선율 특징을 조건으로 모노 및 스테레오 샘플을 생성한다. 자동 지표와 사람 평가를 함께 수행하고 구성 요소를 바꾸는 실험으로 설계의 영향을 분석한다.
선율과 음색의 구분
주어진 선율의 흐름을 유지하면서 악기 구성을 다르게 만들려는 요청을 생각할 수 있다. 선율 조건이 맞는지와 텍스트의 악기 조건이 맞는지는 다른 기준이며 둘을 함께 확인해야 한다.