오디오의 두 측면
오디오는 말이 전달하는 의미와 함께 화자나 소리의 성질 같은 여러 속성을 담는다. AHa-Bench는 이런 정보가 함께 존재할 때 발생하는 환각을 체계적으로 평가하기 위해 구성됐다.
세 종류의 환각
환각의 발생 원천을 기준으로 의미 환각과 음향 환각, 의미와 음향의 혼동에 따른 환각을 구분한다. 내용에 관한 판단과 소리 속성에 관한 판단을 나누면 같은 오답률 안의 서로 다른 약점을 살필 수 있다.
모델 평가의 범위
연구는 공개 오디오 언어 모델 일곱 개를 평가하며 의미와 음향 정보를 함께 해석하는 어려움을 분석한다. 이 비교는 사용한 모델과 평가 조건의 결과이며 이후 모든 모델의 성능을 대변하는 고정 순위는 아니다.
말의 내용과 소리의 성질
빠르게 말하는 사람이 천천히 걷는다고 발화했다면 말하기 속도와 문장이 묘사하는 움직임은 별개다. 둘을 혼동하지 않고 질문이 어느 속성을 묻는지 구별하는 것이 오디오 이해에서 중요하다.
관련 문서
HalluAudio / AHA 오디오 정렬 / MISHAP-Bench / MMSU / SYAUDIO / ALME