위키득계정 ↗
기술

DeepGaze III

DeepGaze III기술
관찰 조건
정지 영상의 자유 관찰
입력 문맥
영상과 이전 주시 이력
예측
다음 주시 위치
모델 관점
확률적 주시 순서 생성
DeepGaze III는 정지 영상을 자유롭게 볼 때 이어지는 주시 위치를 예측하는 모델이다. 영상 내용과 이전 주시 이력을 결합해 다음에 어느 위치를 볼지 확률적으로 표현한다.

분포에서 순서로

공간 현저성 지도는 어느 위치가 주시될지 나타내지만 주시 사이의 순서 의존성을 충분히 표현하지 못할 수 있다. DeepGaze III는 앞선 주시가 이후 선택에 주는 정보를 활용한다.

내용과 이력의 결합

영상 내용과 이전 주시 위치를 함께 사용해 다음 위치의 분포를 예측한다. 같은 영상이라도 이미 본 위치가 다르면 이후 주시의 예측이 달라질 수 있다.

모듈을 나누는 실험

모듈형 구조로 영상 내용과 시선 이력의 영향을 구분하는 절제 실험을 수행한다. 연구의 주 데이터에서는 장면 내용의 영향이 이력보다 컸지만 두 정보의 상대적인 중요도는 장면마다 달라질 수 있다.

한 경로만 정답인가

서로 다른 관찰자가 같은 사진을 같은 순서로 볼 필요는 없다. 모델이 가능한 경로의 분포를 표현한다는 점과 특정 개인의 다음 시선을 완벽하게 결정한다는 주장은 구별해야 한다.

관련 문서

DeepGaze IIE / ST-DiffEye / DiffGaze / 확률 분포 / 딥러닝 / 컴퓨터 비전