다양한 소리 영역
해양 포유류의 울음부터 소리 풍경과 복잡한 현실 녹음까지 여러 영역을 포함한다. 오디오와 상호작용하며 묻고 답하는 능력과 소리 내용에 대한 추론을 평가하는 과제다.
세 하위 집합
생물 음향과 시간적 소리 풍경, 복잡한 질문 답변을 별도의 집합으로 둔다. 한 영역의 높은 성적이 다른 소리 영역의 능력까지 대표하지 않으므로 하위 집합별 결과를 확인할 필요가 있다.
보기 순서의 영향
첫 번째로 선택한 답의 정확도와 함께 정답 보기의 순서를 섞었을 때의 강건성을 평가한다. 같은 질문이라도 제시 순서에 민감하면 단일 구성에서 얻은 정확도가 안정적인 이해를 나타내지 못할 수 있다.
개발 자료와 최종 결과
논문은 데이터 구성과 평가 절차, 기준 모델 및 개발 집합의 초기 비교를 설명한다. 이런 초기 실험은 챌린지의 최종 순위와 구분해야 하며 평가 자료와 비교 시점도 함께 확인해야 한다.
관련 문서
오디오 선택형 평가의 강건성 / MMAU / MMAR / SSEU-Bench / Qwen2-Audio / Audio Flamingo