음악 이해 자료의 부족
음악을 이해하는 멀티모달 언어 모델의 학습 자료 부족을 다루기 위해 OpenMU-Bench를 제시한다. 기존 데이터셋을 활용하고 새 주석을 추가하는 방식으로 자료를 구성한다.
소리 외의 과제도 포함하기
음악 소리의 설명에 그치지 않고 가사 이해와 음악 도구 사용을 범위에 포함한다. 음악 이해라는 이름 아래에도 서로 다른 입력·출력과 판단 기준을 가진 과제가 있다는 점을 보여준다.
모델과 제거 실험
OpenMU-Bench를 활용해 OpenMU 모델을 훈련하고 여러 제거 실험으로 구성을 평가한다. MU-LLaMA 같은 기준 모델과 비교한다. 자료 묶음의 기여와 특정 모델의 구조·학습 조건은 나누어 볼 필요가 있다.
음악 질문의 서로 다른 요구
어떤 악기가 들리는지 묻는 질문과 가사의 화자가 무엇을 원하는지 묻는 질문은 다른 정보를 요구한다. 소리 특징에 대한 답이 가사 해석을 대신하지는 않는다. 도구 사용이 필요한 요청도 단순 설명 생성과 구분해 평가해야 한다.
관련 문서
MU-LLaMA / MERT / SALMONN / Audio Flamingo / MUSIC-AVQA / See Hear and Read