범주 정답보다 복잡한 문제
소리 사건 이름만 맞히는 평가에서 더 나아가 전문 지식과 복잡한 추론을 요구하는 문제를 구성한다. 정보 추출 질문과 추론 질문을 모두 포함해 지각한 내용과 그 관계를 다루는 능력을 살핀다.
사람 주석의 질문·답변
약 1만 개의 정선한 소리 구간에 자연어 질문과 답변을 연결한다. 발화와 환경음, 음악을 포함하며 27개 서로 다른 능력을 요구한다. 전체 평균뿐 아니라 영역과 능력별 차이를 확인할 필요가 있다.
모델 비교의 시점
원 연구는 여러 공개·비공개 오디오·언어 모델을 비교해 평가 난도를 살핀다. 논문 발표 당시의 순위와 현재 모델의 순위는 다를 수 있으므로 과거 결과를 영구적인 우위로 읽지 않아야 한다.
정확한 관측과 지식의 예
특정 리듬의 반복을 듣는 일과 그 리듬이 어떤 음악 형식에 해당하는지 판단하는 일은 다른 지식을 요구할 수 있다. 지각 오류와 분야 지식 오류를 구분하면 점수만으로 보이지 않는 약점을 이해하기 쉽다.
관련 문서
SALMONN / Qwen2-Audio / LTU 오디오 이해 / GAMA 오디오 이해 / Audio Flamingo / OpenMU