찾지 못하는 상황
물체가 있는 장면에서 그 위치를 예측하는 것만으로는 탐색을 모두 설명할 수 없다. 목표가 없을 때 어디를 살피며 언제 찾기를 멈추는지도 별도의 문제다.
주시로 얻은 정보
중심와 특징 지도는 주시를 거치며 관찰자가 얻은 정보를 표현하려는 상태 구성이다. 중심와 망막을 모사한 표현을 사전 학습한 합성곱 신경망의 특징 피라미드에 결합한다.
상태와 정책의 결합
이 상태 표현을 역강화 학습에 통합해 목표 부재 탐색 행동을 학습한다. 기존 주시 경로를 따르는 모방 학습의 관점으로 시각 탐색을 다룬다.
종료 예측의 평가
너무 일찍 멈추는 모델과 필요 이상 오래 찾는 모델은 서로 다른 오류를 낸다. 경로의 위치 유사도뿐 아니라 탐색 길이와 종료 판단의 조건을 함께 살펴야 한다.
관련 문서
COCO-Search18 / Human Attention Transformer / DeepGaze III / 역강화 학습 / 모방 학습 / 컴퓨터 비전