하나의 정확도가 놓치는 것
동일한 지식을 묻더라도 보기의 순서를 바꾸면 결과가 달라질 수 있다. 단일 구성에서 얻은 정확도만 보고하면 내용 이해와 제시 방식에 대한 민감도를 구분하기 어렵다.
질문과 보기의 표현
2026년 개정 연구는 MMAU와 MMAR, MMSU에서 네 오디오 모델을 비교했다. 순서뿐 아니라 질문과 보기의 바꿔 쓰기에도 민감한 결과를 확인하고 변형을 반영하는 평가 절차와 지표를 제안했다.
정답 의미의 보존
가령 빗소리를 고르는 문항에서 정답이 두 번째 보기에서 네 번째로 이동했다면 정답 위치도 함께 갱신해야 한다. 표현을 바꿀 때는 모호함이나 새로운 단서가 생기지 않았는지도 확인해야 비교가 성립한다.
해석의 범위
여러 변형에서 일관되게 맞히는지와 평균적으로 얼마나 맞히는지는 다른 질문이다. 연구의 결과는 특정 모델과 벤치마크에 대한 관측이며 모든 오디오 모델이 같은 정도의 순서 편향을 가진다는 결론으로 확대할 수 없다.
관련 문서
MMAU / MMAR / MMSU / Audio Flamingo / Qwen2-Audio / AIR-Bench 오디오 평가