한 번의 출력 이후
단순한 순방향 신경망으로 현저성 지도를 한 번 계산하는 방식에서 나아가 주의 메커니즘을 사용한다. 입력 영상의 현저한 영역에 집중하며 예측을 반복적으로 다듬는다.
합성곱 LSTM
핵심 모듈은 합성곱 LSTM으로 영상의 공간 구조를 유지하면서 내부 상태를 갱신한다. 내부 정제 단계를 실제 관찰자가 수행한 눈 움직임의 시간 순서와 동일시할 필요는 없다.
중앙 편향의 학습
사람의 주시가 영상 중앙 쪽에 모이는 경향을 고려해 가우스 함수로 생성한 사전 지도들을 학습한다. 사전 정보와 영상 내용에 기반한 예측을 함께 활용하는 구성이다.
반복과 사전 정보의 역할
반복 정제와 사전 지도를 동시에 추가했다면 어느 요소가 결과를 바꿨는지 구별해야 한다. 관련 연구는 핵심 구성 요소의 기여를 나누어 평가하며 서로 다른 장면 조건에서의 영향을 살핀다.
관련 문서
DeepGaze IIE / 다중 수준 특징 기반 현저성 예측 / SALICON / LSTM / 주의 메커니즘 / 컴퓨터 비전