과제 인식과 과제 학습
예시가 기존 능력을 불러오는 단서인지, 처음 보는 대응을 실제로 배우게 하는지는 다르다. AudioICL-Bench는 후자를 분리해서 평가하기 위해 에피소드별 규칙을 새로 정한다.
사전 지식으로 답할 수 없는 구성
정답 대응을 사전 지식만으로 복원할 수 없도록 규칙을 다시 뽑는다. 아홉 과제를 예시에서 무엇을 배워야 하는지와 소리에서 무엇을 지각해야 하는지의 두 축으로 구성해 실패 지점을 나눠 본다.
시간 지각과 규칙의 결합
다섯 모델의 비교에서는 지각이 쉬운 조건의 임의 소리 레이블 대응보다 시간 측정과 여러 유도 규칙을 결합하는 조건이 어려웠다. 단순 대응을 배웠다는 결과가 복합 규칙까지 학습했음을 뜻하지 않는다.
임의 레이블의 예
한 묶음에서는 종소리를 누리라고 부르고 다른 묶음에서는 같은 소리를 도담이라고 부를 수 있다. 새 예시를 읽고 현재 규칙에 맞춰 답하는지 확인하면 익숙한 소리 이름을 기억하는 능력과 구분하기 쉽다.
관련 문서
SALMONN-2 / AudioBench / ART 오디오 추론 평가 / ReasonAudio / MMSU / MMAR