내부 지식만으로 부족한 질문
소리의 내용을 알아도 답에 필요한 사실이 모델의 기억에 없거나 확인이 필요할 수 있다. AudioRAG는 이런 외부 정보에 근거한 추론을 평가하기 위해 제안됐다.
오디오와 웹 검색의 연결
오디오 기반 판단을 현실적인 웹 환경의 정보 검색으로 보강하는 능력을 평가한다. 소리에서 필요한 단서를 얻는 과정과 검색 결과가 실제 질문에 맞는지 확인하는 과정이 함께 중요하다.
자료와 기준 시스템
언어 모델이 생성한 질문 답변과 사람이 정선한 질문 답변을 포함한다. 연구는 모델 평가와 함께 오디오 추론에 검색 증강 생성을 통합하는 에이전트형 절차를 기준 시스템으로 제시한다.
인식과 검색의 오류
방송에서 들은 지명을 잘못 인식하면 검색 자체가 성공해도 다른 지역의 정보를 가져올 수 있다. 반대로 지명은 맞아도 오래된 문서를 선택할 수 있어 음향 단서와 외부 근거를 각각 검증해야 한다.
관련 문서
MMAR / MMAU / ReasonAudio / ALME / MISHAP-Bench / SALMONN-duo