정답과 오디오 사용의 차이
질문과 보기만 보고 답할 수 있다면 높은 정답률이 듣기 능력을 의미하지 않을 수 있다. ADQA-Bench는 입력 오디오가 답을 정하는 데 필요한 문항을 선별해 이런 지름길을 줄이려 한다.
문항 선별 과정
무음 오디오를 주는 검사와 보기별 퍼플렉서티, 언어 모델의 상식 검사 및 사람 검토를 결합한다. 문자만으로 풀 수 있는 문항을 제외하고 남은 3000개 항목을 평가 집합으로 구성한다.
챌린지와 평가 난도
DCASE 2026 Task 5는 총 매개변수 규모에 따른 두 트랙을 운영한다. 연구는 개발 집합보다 어렵게 설계한 비공개 평가 집합에서 성적이 떨어지는 현상을 분석해 개발 점수와 평가 점수를 구분한다.
소리를 제거한 비교
새와 자동차 중 무엇이 들리는지 묻는 문항에서 오디오를 없앴는데도 안정적으로 맞힌다면 문장 구성의 단서가 있는지 확인할 수 있다. 다만 무음 조건의 오답만으로 실제 조건에서 음향 근거를 완전히 활용했다고 확정할 수는 없다.
관련 문서
DCASE 2025 오디오 질의응답 / AudioMCQ / MMAU / MMAR / HalluAudio / 오디오 선택형 평가의 강건성