정답과 설명의 차이
맞는 답을 골랐더라도 설명 중간에 들리지 않는 소리를 지어냈을 수 있다. 반대로 일부 소리를 제대로 관측했어도 결론을 이끄는 논리가 잘못될 수 있다. MMAR-Rubrics는 이런 차이를 항목별로 살핀다.
추론 품질의 평가
오디오 영역의 추론 설명에 대해 사실성과 논리를 평가하는 절차로 제시됐다. 설명의 길이나 자연스러움만을 품질의 대리 지표로 삼는 대신 주장과 연결 관계를 평가 대상으로 둔다.
모델과 에이전트 트랙
챌린지는 단일 모델과 에이전트를 나눠 평가했다. 에이전트는 도구의 반복적인 조합과 모달리티 간 분석을 사용할 수 있어 직접 응답하는 모델과 처리 조건이 다를 수 있다.
설명의 근거 확인
종소리 뒤에 발소리가 있었다는 설명에서는 두 소리가 실제로 들리는지와 순서가 맞는지를 따로 확인할 수 있다. 공개된 추론 문장의 품질을 평가하는 일은 모델 내부에서 이루어진 계산 전부를 관찰하는 것과 같지 않다.
관련 문서
MMAR / MMAU / MMSU / Long Listening Thoughts / 오디오 선택형 평가의 강건성 / SALMONN-duo