음향 근거가 없는 답
문장의 뜻이 틀리거나 입력 소리가 뒷받침하지 않는 응답을 평가 대상으로 삼는다. 문장 자체가 그럴듯한지와 실제로 들리는 내용에 맞는지는 구분해야 한다.
다양한 질문 구성
사람이 검증한 5000개 이상의 질문 답변에 이진 판단과 선택형 추론, 속성 검증과 열린 질문을 포함한다. 적대적인 질문 표현과 여러 소리가 섞인 조건도 이용해 오류를 유발하고 분석한다.
정확도 바깥의 지표
환각률과 예 아니요 응답 편향, 오류 유형과 거절률을 함께 측정한다. 거절을 늘리기만 해도 일부 오류는 줄어 보일 수 있으므로 정확도와 응답 행동을 같이 봐야 한다.
유도 질문의 예
기차 소리만 있는 녹음에 개가 몇 번 짖는지 묻는다면 질문이 이미 잘못된 전제를 담는다. 모델이 그 전제를 받아 숫자를 만들었는지, 실제 음향 근거를 확인했는지 구분하는 것이 이런 진단의 핵심이다.
관련 문서
MuseDiag / MMAR / MMAU / MMSU / AIR-Bench 오디오 평가 / Long Listening Thoughts