틀린 답과 근거 없는 주장
정답 여부만으로는 소리를 이해하지 못한 경우와 그럴듯한 주장을 만들어 낸 경우를 충분히 구별하기 어렵다. MISHAP-Bench는 응답의 근거에 초점을 맞춰 이 문제를 다룬다.
두 범주의 환각
문맥 환각은 오디오에 근거하지 않는 주장을, 지식 환각은 오디오 관련 주제에 관해 외부에서 확인 가능한 사실이 뒷받침하지 않는 주장을 뜻한다. 같은 답변에 서로 다른 종류의 오류가 섞일 수 있다.
열린 응답의 평가
질문 오디오 1만 2000쌍을 구성하고 사람이 주석한 내용을 바탕으로 기준과 판단 지시를 설계한다. 열 개 모델과 네 완화 방법을 평가하며 최종 정답뿐 아니라 근거성도 분석한다.
서로 다른 확인 방법
들리지 않는 바이올린을 언급한 경우에는 녹음을 확인해야 한다. 반면 악기에 관한 역사적 설명을 덧붙였다면 해당 사실을 별도로 검증해야 한다. 소리만 다시 듣는 것으로 답변의 모든 지식 주장을 확인할 수는 없다.
관련 문서
HalluAudio / MuseDiag / AHA 오디오 정렬 / MMAR-Rubrics / SYAUDIO / MMAU