오디오 지시 수행의 평가
오디오 모델의 능력을 비교하려면 어떤 입력에서 어떤 응답을 요구하는지와 그 답을 어떻게 채점하는지가 정해져야 한다. AudioBench는 여러 자료와 평가 지표를 묶어 이런 비교 기반을 제공한다.
세 가지 이해 영역
발화 이해는 말이 전달하는 내용을, 음향 장면 이해는 소리가 나타내는 환경을 다룬다. 목소리 이해는 준언어적 특성을 평가한다. 서로 다른 영역을 분리해 보면 한 모델의 평균 점수만으로 보이지 않는 차이를 살필 수 있다.
논문의 평가 구성
논문은 새로 제안한 일곱 데이터셋을 포함해 26개 자료와 여덟 과제를 구성한다. 다섯 모델의 비교에서는 모든 과제에 걸쳐 일관되게 우세한 단일 모델이 없었다. 이 수치는 논문의 평가 구성에 해당한다.
서로 다른 질문의 예
같은 녹음에 무슨 말을 했는지 묻는 것과 어떤 환경에서 말하는지 묻는 것은 다르다. 말하는 사람의 표현 방식까지 물으면 또 다른 단서가 필요해 각 과제의 평가 기준을 확인해야 한다.
관련 문서
AIR-Bench 오디오 평가 / ART 오디오 추론 평가 / MMAU / MMSU / Audio Flamingo / Qwen2-Audio