개별 과제의 성적과 결합 능력
화자 구분을 잘하고 소리 사건도 잘 찾는 모델이 둘을 연결하는 질문까지 잘 푸는 것은 아니다. ART는 여러 종류의 오디오 정보를 종합해 추론하는 능력을 평가하기 위해 제안됐다.
단일 처리 결과로 부족한 과제
과제 선정에서는 하나의 특화 모듈 출력만 읽고 다른 소리 현상을 무시하는 모델이 문제를 풀 수 없어야 한다는 원칙을 둔다. 단순한 전사문 기반 질문 답변과 구분하려는 설계다.
자료 준비의 과정
과제 규칙을 정하고 분야 전문가에게 후보를 제안받은 뒤 신뢰성 있게 평가하기 어려운 후보를 제외한다. 남은 과제는 틀로 구체화하고 소리 샘플과 합성 발화를 결합해 항목을 만든다. 질문도 음성으로 입력 오디오에 통합한다.
결합 추론의 예
대화 중 경고음이 난 뒤 누가 먼저 말을 멈췄는지 묻는다면 화자의 구분과 사건 시점, 발화 흐름을 함께 살펴야 한다. 이런 결합 능력은 단어 전사의 정확도만으로 충분히 설명하기 어렵다.
관련 문서
MMSU / MMAR / MMAU / CMDAR / AIR-Bench 오디오 평가 / ReasonAudio