지역 언어에서의 추론
발화를 알아듣고 글로 옮기는 능력과 그 말에서 추론하는 능력은 다르다. SEABED는 영어와 일반 영역 중심의 평가에서 벗어나 동남아시아 발화에 기반한 오디오 추론을 살피기 위해 구성됐다.
소리에 남는 의미
말의 높낮이와 운율, 방언과 지역 언어의 구분처럼 문자만으로 충분히 드러나지 않는 단서를 고려한다. 글에 남지 않는 차이가 질문의 판단에 어떤 근거가 되는지 평가한다.
자료와 평가 범위
실제로 녹음해 공개된 동남아시아 발화 코퍼스에서 여섯 추론 과제와 질문 답변 5404쌍을 구성한다. 여섯 모델을 평가하며 정답률뿐 아니라 모델이 제시한 설명이 오디오 증거에 근거하는지도 확인한다.
근거를 분리하는 예
같은 문장을 단정적으로 말한 경우와 주저하며 말한 경우에는 해석에 필요한 단서가 달라질 수 있다. 단어 내용과 말투를 구분해 보면 모델의 설명이 실제로 들은 정보에 의존하는지 살피기 쉽다.
관련 문서
CMDAR / MMSU / MMAR / ART 오디오 추론 평가 / AudioBench / ALME