새로운 시퀀스 표현
이전 주시 위치를 다루는 전용 모듈을 새로 만드는 대신 좌표를 텍스트 어휘로 대응시킨다. 시각 언어 모델의 사전 학습 표현을 자기회귀 시퀀스 예측에 활용하는 것이 중심이다.
프롬프트로 조건 주기
관찰자 식별 정보나 시각 탐색 목표 같은 전역 조건을 프롬프트로 지정한다. 이는 조건별로 서로 다른 구조를 추가하는 접근과 구별되는 설계다.
위치 이외의 속성
주시 위치와 함께 각 주시의 지속 시간 같은 속성도 시퀀스에 포함할 수 있다. 공간 좌표뿐 아니라 시간적 속성을 같은 생성 틀에서 다루려는 방식이다.
예측과 모의 실험
자기회귀 확률로 주시별 로그 우도를 계산하고 지속 시간을 바꾸는 계산 실험도 수행한다. 모델 내부의 개입 결과는 사람에게 같은 개입을 했을 때의 효과를 직접 측정한 결과와 구분해야 한다.
관련 문서
DeepGaze III / DeepGaze IIE / ST-DiffEye / 트랜스포머 / 자기회귀 모델 / 컴퓨터 비전