주의와 선호 함께 보기
무엇을 먼저 보는지와 무엇을 좋아하는지는 관련될 수 있지만 같은 행동은 아니다. UniAR은 초기의 주의 행동과 이후의 주관적 반응을 통합해 모델링하려는 접근이다.
프롬프트의 역할
텍스트 프롬프트로 입력 영역, 원하는 예측 종류와 과제 상황을 지정한다. 같은 영상이라도 자유 관찰인지 물체 탐색인지에 따라 예측 조건을 달리할 수 있다.
서로 다른 출력 모듈
영상과 텍스트의 표현을 결합한 뒤 열지도, 주시 순서와 평가 점수를 위한 예측기를 사용한다. 단일 모델이라는 말이 모든 결과가 동일한 출력 형식을 쓴다는 의미는 아니다.
디자인 평가의 해석
모델이 예측한 미적 점수나 주의 지도는 실제 사용자의 반응을 직접 조사한 결과와 구별해야 한다. 디자인 후보를 검토하는 보조 자료로 활용하더라도 대상 사용자와 과제에 맞는 검증이 필요하다.
관련 문서
SALICON / COCO-Search18 / DeepGaze III / AiR 주의 추론 프레임워크 / 멀티모달 학습 / 컴퓨터 비전