음악 질문의 평가
자연어로 음악을 질문할 수 있어도 답이 실제 음악을 올바르게 해석했는지 판단하기는 어렵다. MuChoMusic은 사람이 검증한 선택형 문항을 이용해 음악 이해를 비교할 수 있게 한다.
자료와 범위
공개 음악 데이터셋 두 곳에서 가져온 644개 트랙에 1187개 질문을 구성한다. 여러 장르를 포함하며 기본 음악 개념과 문화적 및 기능적 맥락에 관한 지식과 추론을 평가한다.
언어에 치우치는 문제
다섯 공개 모델의 평가에서는 언어 모달리티에 지나치게 의존하는 등의 약점이 드러났다. 보기의 문장만으로 답을 추측하는지와 오디오를 근거로 판단하는지는 구분해야 한다.
들리는 요소와 해석
어떤 악기가 반복되는지 알아내는 것과 그 반복이 음악의 표현에 어떤 역할을 하는지 설명하는 것은 다르다. 음악 지식이 풍부한 답이라도 실제 들리는 요소와 연결되는지 확인해야 한다.