함께 주어진 정보의 충돌
영상의 내용을 맞게 파악하고 소리도 일부 식별했더라도 둘의 관계를 잘못 해석할 수 있다. AVHBench는 시청각 신호의 복잡한 관계를 이해하지 못해 생기는 환각을 평가한다.
평가 과제의 범위
환각 자체를 확인하는 검사와 모달리티 사이의 대응, 추론 능력을 평가하는 검사를 포함한다. 단일 입력의 인식 능력만 확인하는 것보다 정보의 결합 과정에 초점을 둔다.
학습과 강건성
연구는 기존 시청각 언어 모델의 약점을 분석하고 벤치마크를 활용한 학습으로 환각에 대한 강건성을 개선하는 실험을 제시한다. 평가 자료를 학습에 사용할 경우에는 학습과 검증의 구분도 유지해야 한다.
화면 밖의 소리
화면에는 조용히 앉은 사람이 보이지만 멀리서 오토바이 소리가 들릴 수 있다. 보이는 사람이 그 소리를 냈다고 단정하지 않고 화면 밖의 음원 가능성을 남겨 두는 것이 관계 판단에서 중요하다.
관련 문서
CMM 멀티모달 환각 평가 / AHa-Bench / HalluAudio / MISHAP-Bench / ALME / MMAR-Rubrics