설명된 물체를 찾기
단순한 물체 이름뿐 아니라 지칭 표현에 따라 특정 대상을 찾는 상황을 다룬다. 시각 언어 모델에서 영상과 문장에 대응되는 특징을 추출하고 결합한다.
과거 위치의 활용
HESD는 이전 주시의 위치 정보를 직접 입력받는다. 이미 어떤 곳을 보았는지를 이용해 현재 주시 위치의 예측을 보완하려는 구성이다.
분할 표현의 보완
고정한 분할 LoRA를 보조 구성으로 사용해 지칭된 물체를 더 정밀하게 찾도록 한다. 경로 예측의 문맥 융합뿐 아니라 대상의 세부 위치를 파악하는 문제도 다룬다.
문장 이해와 경로 평가
가령 같은 색의 물체가 여러 개라면 위치 관계를 포함한 설명을 구분해야 한다. 목표 지칭의 정확도와 시선 경로의 유사도는 서로 다른 오류를 낼 수 있어 함께 살펴야 한다.
관련 문서
Gazeformer / OAT 시선 경로 예측 / GazeXplain / LoRA / 멀티모달 학습 / 컴퓨터 비전