고수준 특징의 필요
색이나 단순한 모서리뿐 아니라 물체 같은 고수준 내용도 시선 선택에 영향을 줄 수 있다. Deep Gaze I는 물체 인식 신경망이 이미 학습한 구조를 주시 예측에 활용한다.
특징을 다시 사용하기
대규모 물체 인식 자료에서 학습한 신경망을 사용해 영상의 특징 지도를 얻는다. 시선 예측 자료가 상대적으로 적어도 풍부한 표현을 가져와 활용하려는 구성이다.
점 과정의 관점
연구는 현저성을 점 과정으로 다루는 모델링에 기반해 학습한다. 관측한 주시 지점들을 영상 위의 발생 위치로 보고 그 분포를 설명하는 방향이다.
전이의 범위
물체 분류를 잘한다고 사람의 시선까지 완벽히 설명하는 것은 아니다. 재사용한 특징이 주시 위치 예측에 얼마나 도움이 되는지는 별도의 시선 데이터와 평가로 확인해야 한다.
관련 문서
DeepGaze IIE / DeepGaze III / 전이 학습 / ImageNet / 신경망 / 컴퓨터 비전