라벨 형태의 차이
사람이 화면의 어느 지점을 보는지 표시한 이차원 자료와 공간의 시선 방향을 표시한 삼차원 자료는 같은 정답 형식이 아니다. 이 연구는 다양한 이차원 자료를 삼차원 추정 학습에 활용하는 방법을 다룬다.
의사 라벨 생성
두 단계 학습에서 삼차원 의사 라벨을 만들어 다양한 장면과 외형을 학습에 활용한다. 의사 라벨은 사람이 직접 측정한 정답과 구별해야 하며 생성 과정의 오류가 학습에 영향을 줄 수 있다.
이미지와 영상의 결합
Gaze Transformer는 정지 영상과 동영상의 시선 정보를 함께 학습하도록 제안된 구조다. 시간 정보가 있는 자료와 없는 자료를 각각 별도 모델로만 처리하는 제약을 줄이려는 목적이다.
일반화의 확인
같은 데이터셋 안에서의 성능과 다른 데이터셋으로 옮겼을 때의 성능을 구분해 평가한다. 영상 자료의 이득을 확인할 때는 입력에 시간 정보가 추가되었다는 조건도 함께 살펴야 한다.