섞인 소리의 해석
대화만 있는 녹음과 음악 위로 사람 말과 주변 소음이 겹친 녹음은 필요한 판단이 다르다. MMAR는 특정 소리 영역에 한정하지 않고 혼합된 현실적 장면을 포함해 오디오 모델의 추론을 평가한다.
질문의 네 층위
질문은 신호와 지각, 의미와 문화라는 네 층위로 분류하며 각 층위 안에도 세부 범주를 둔다. 소리를 감지한 뒤 의미를 연결하는 과정과 분야 지식을 적용하는 과정을 나눠 살필 수 있다.
문항 구성과 근거
인터넷 영상에서 모은 오디오에 질문과 답을 연결한 1000개 항목을 정선했다. 반복적인 오류 수정과 품질 검사를 거쳤으며 모든 질문에 추론 근거를 붙였다. 일부 문제에는 높은 수준의 지각 능력과 전문 지식이 필요하다.
비교 조건의 차이
직접 오디오를 받는 모델과 오디오 설명문을 읽는 언어 모델은 얻는 정보가 다르다. 예를 들어 멀어지는 발소리의 방향 단서가 설명문에서 빠졌다면 설명문 기반 오답을 청각 지각의 실패로 볼 수 없다.
관련 문서
MMAU / AIR-Bench 오디오 평가 / SALMONN / Qwen2-Audio / Audio Flamingo / AudioCaps