되돌아보기와 관심 영역
장면에서 어디를 보았는지의 이력과 다음에 어디를 볼지는 관련되어 있다. 이 모델은 돌아보기 억제의 동적 성질과 시선 이동을 두 개의 LSTM 단위로 함께 다룬다.
IOR-LSTM
IOR-LSTM은 시각 작업 기억을 모사해 장면 정보를 적응적으로 통합하고 잊도록 구성한다. 모든 과거 정보를 계속 같은 강도로 유지하는 단순한 기억과 구별된다.
ROI-LSTM
ROI-LSTM은 억제가 반영된 영상 특징을 받아 다음 관심 영역을 예측한다. 기억을 조절하는 처리와 다음 위치를 선택하는 처리를 나눈 설계다.
억제와 절대 금지의 차이
돌아보기 억제를 모델링한다고 이전에 본 위치를 다시 보는 것이 언제나 불가능하다는 뜻은 아니다. 예측한 경로의 재방문 양상과 실제 사람의 행동을 비교해 모듈의 영향을 살펴야 한다.
관련 문서
DeepGaze III / PathGAN / LSTM / 주의 메커니즘 / 컴퓨터 비전 / 신경망