문자만으로 부족한 정보
발화를 글로 옮기면 말의 내용은 남지만 높낮이와 속도, 리듬 같은 정보가 줄어든다. MMSU는 이런 음향 정보와 의미를 함께 활용해야 하는 세밀한 지각과 추론을 다룬다.
언어학을 바탕으로 한 과제
음성학과 운율, 수사, 통사와 의미, 준언어적 현상을 포함해 47개 과제를 구성한다. 정선한 오디오 질문 답변은 5000개다. 인식한 단어가 맞더라도 다른 단서의 해석에서 실패할 수 있어 과제별 결과가 중요하다.
모델 평가의 범위
연구는 14개 음성 대형 언어 모델을 평가해 개선이 필요한 지점을 분석한다. 특정 평가 집합의 성적은 모든 언어와 녹음 환경에서의 성능을 보장하지 않으며 발표 당시의 비교 대상에도 영향을 받는다.
같은 문장과 다른 억양
같은 질문 문장을 차분하게 읽거나 끝을 강하게 올려 읽으면 듣는 사람이 받아들이는 태도가 달라질 수 있다. 단어의 전사와 표현 방식의 해석을 구분하면 음성 이해의 어느 부분을 평가하는지 명확해진다.
관련 문서
MMAR / MMAU / AIR-Bench 오디오 평가 / LTU-AS / Qwen2-Audio / SALMONN