기초 능력과 생성적 응답
음성 인식 같은 기본 과제만으로는 소리 중심의 열린 상호작용을 충분히 평가하기 어렵다. AIR-Bench는 발화·자연음·음악에 대한 이해와 사람의 지시에 문장으로 응답하는 능력을 함께 다룬다.
두 평가 영역
기초 영역은 19개 과제의 약 1만 9천 단일 선택 문항으로 구성된다. 대화 영역은 약 2천 열린 질문·답변으로 복잡한 소리의 이해와 지시 이행을 평가한다. 두 영역 모두 모델이 답변을 직접 생성하도록 한다.
생성 답변의 채점
오디오의 메타정보를 주고 대형 언어 모델로 생성 답변을 채점하는 통합 틀을 제시한다. 사람 평가와의 일관성을 실험한다. 자동 평가와 사람 평가가 유사하다는 결과가 모든 개별 채점의 무오류를 뜻하지는 않는다.
같은 소리의 다른 요청
녹음 내용을 한 문장으로 요약하라는 요청과 특정 소리가 먼저인지 묻는 요청은 같은 입력에도 다른 답을 요구한다. 내용 파악뿐 아니라 요청의 형식과 초점에 맞는 응답인지 확인해야 한다.
관련 문서
Qwen2-Audio / SALMONN / MMAU / LTU 오디오 이해 / Audio Flamingo / AudioCaps