언급과 관측의 차이
누군가 물체를 말로 언급했다고 그 물체가 화면에 있다고 단정할 수는 없다. SVHalluc는 환경음의 발생 여부보다 풍부한 의미와 시간 구조를 가진 발화에 초점을 맞춰 이 혼동을 평가한다.
의미와 시간의 두 축
의미 과제는 말의 어떤 내용이 시각적 증거와 대응하는지 확인한다. 시간 과제는 말로 설명한 사건이 발화 시점의 영상과 어떤 시간 관계에 있는지 살핀다. 각 축에 세 과제를 두어 총 여섯 과제로 구성한다.
인식과 통합의 구분
음성을 잘 전사하고 발화 시점을 찾더라도 그 내용을 영상과 올바르게 연결하지 못할 수 있다. 연구는 단일 모달리티의 지각 성적과 시청각 통합 능력을 구분해 실패 원인을 분석한다.
미래의 행동과 현재 화면
잠시 후 우산을 펴겠다는 말이 들려도 현재 화면에는 접힌 우산만 있을 수 있다. 언급한 물체의 존재와 행동의 발생, 발생 시점을 따로 확인해야 영상에 없는 행동을 이미 일어난 일로 설명하지 않는다.
관련 문서
AVHBench / CMM 멀티모달 환각 평가 / ALME / HalluAudio / MISHAP-Bench / MMAR-Rubrics