음악 이해와 생성 자료
문장 기반 음악 생성에는 음악을 설명하는 대규모 자료가 필요하다. MU-LLaMA는 음악 관련 질문 답변과 캡션 생성을 통해 이런 자료 부족 문제를 다루는 방향에서 제안됐다. 음악을 이해해 문장을 만드는 모델과 새 음악을 생성하는 모델은 구분된다.
음악 표현의 활용
사전 학습한 MERT 모델의 오디오 표현으로 음악 특징을 추출한다. 기존 일반 오디오 질의응답 자료만으로는 깊이 있는 열린 음악 질문을 다루기 어렵다는 문제를 함께 살핀다.
MusicQA의 구성
기존 오디오 캡셔닝 자료에서 질문·답변 쌍을 생성하는 방법과 음악 관련 열린 질문을 위한 MusicQA 데이터셋을 제시한다. 해당 자료로 훈련한 모델을 음악 질의응답과 캡션 생성에서 평가한다.
들리는 특징과 해석
짧고 반복적인 리듬과 낮은 음역의 반주가 들릴 수 있지만 그것만으로 작곡자의 감정을 확정할 수는 없다. 음악 설명은 관측 가능한 특징과 해석을 구분할수록 입력에 충실한 답변이 된다. 질문이 요구하는 세밀함도 함께 확인해야 한다.
관련 문서
SALMONN / Audio Flamingo / Clotho / AudioCaps / MUSIC-AVQA / See Hear and Read