내용이 맞아도 시점이 틀릴 수 있다
어떤 악기가 있다는 답이 맞더라도 그 악기가 나오는 구간을 잘못 짚으면 시간적 근거가 부족하다. MusTBench는 음악의 국소적인 사건과 답변을 올바르게 연결하는 능력을 평가한다.
다섯 과제의 평가
음악 전문가가 검증한 벤치마크로 시간에 근거한 다섯 질의응답 과제를 구성한다. 곡의 전체적인 특징을 아는 것과 특정 구간의 변화를 추적하는 능력을 구분해 살핀다.
MusT의 최적화 단계
함께 제안한 MusT는 음악 인코더 적응과 언어 모델 적응, 언어 모델의 지도 미세 조정, 강화 학습 기반 최적화의 네 단계를 사용한다. 벤치마크와 이를 개선하기 위한 학습 방법은 역할이 다르다.
구간을 확인하는 예
앞부분에는 피아노만 들리다가 후반에 현악기가 들어온다면 곡에 현악기가 있다는 설명만으로 진입 시점을 답할 수 없다. 답을 뒷받침하는 구간과 그 앞뒤의 변화를 함께 확인해야 한다.
관련 문서
GaMMA 음악 이해 / MuChoMusic / MuSP-Bench / MuseDiag / MERT / OpenMU