질문의 품질과 음악 이해
자료가 크다는 사실만으로 모델이 음악을 실제로 이해하는지 확인할 수 있는 것은 아니다. HumMusQA는 복잡한 오디오 이해를 살피는 데 집중적인 수작업 문항 구성이 중요하다는 관점에서 제안됐다.
직접 작성한 평가 자료
음악 교육을 받은 전문가가 정선하고 검증한 수작업 질문 320개를 구성한다. 모델이 음악을 지각하고 해석하는 능력을 평가할 수 있도록 문항의 구성과 확인 절차를 강조한다.
모델 비교와 지름길 검사
여섯 오디오 언어 모델의 결과를 비교하고 한 모달리티의 단서만으로 답을 찾는 지름길에 얼마나 강건한지도 시험한다. 정답률과 실제 오디오 활용 여부를 별개의 관점으로 확인하는 접근이다.
지각이 필요한 질문
질문에 음악 용어가 많아도 보기의 어휘 관계만으로 답을 추측할 수 있다면 듣기 능력을 충분히 검증하기 어렵다. 문장을 이해하는 것과 실제 연주의 단서를 확인하는 일을 나눠 살펴야 한다.
관련 문서
MuChoMusic / MuChin / MusTBench / ADQA-Bench / MuseDiag / GaMMA 음악 이해