문장으로 음악을 지정하기
악기나 분위기 등을 문장으로 설명하면 그 조건에 맞는 음악을 생성하는 과제다. MusicLM은 조건부 음악 생성을 계층적인 시퀀스 대 시퀀스 모델링으로 다룬다.
시간에 따른 일관성
24킬로헤르츠 음악을 만들며 분 단위의 흐름에서 일관성을 유지하는 생성을 연구한다. 논문의 시연 범위와 특정 응용에서 보장되는 생성 길이 및 품질은 구분해야 한다.
선율과 설명의 결합
휘파람이나 허밍의 선율을 텍스트로 지정한 스타일에 맞게 바꾸는 조건부 생성도 제시한다. 함께 공개한 MusicCaps는 전문가가 쓴 풍부한 설명과 음악을 연결한 약 5500개 쌍의 자료다.
조건 충족의 여러 측면
밝은 건반 중심 음악이라는 지시에 건반은 들리지만 분위기가 다를 수 있다. 소리의 품질과 문장 조건의 충족, 긴 흐름의 일관성을 각각 확인해야 생성 결과를 구체적으로 평가할 수 있다.
관련 문서
MusicGen / MuLan / M2UGen / MusiScene / MuChoMusic / Song Describer