목표가 있는 관찰
같은 사진을 보더라도 무엇을 찾느냐에 따라 시선이 달라질 수 있다. COCO-Search18은 목표 물체 범주를 정해 주고 탐색 중의 주시를 수집한 자료다.
보상과 정책 학습
관련 연구는 역강화 학습으로 탐색 중의 보상 함수와 정책을 학습한다. 물체 위치에 대한 동적인 문맥 믿음 지도를 상태 표현으로 활용한다.
탐색 경로 평가
사람의 주시 순서와 얼마나 비슷한지, 목표를 찾는 효율이 어떤지 등 여러 관점으로 평가한다. 목표를 빨리 찾는 경로가 반드시 사람이 실제로 선택하는 경로와 같지는 않다.
자료 분할의 의미
가령 비슷한 구도의 사진이 학습과 평가에 함께 있다면 문맥을 기억하는 효과가 개입할 수 있다. 목표 종류와 영상 분할 조건을 확인해야 새로운 장면에서의 탐색 능력을 해석할 수 있다.
관련 문서
Human Attention Transformer / DeepGaze III / SALICON / 역강화 학습 / 컴퓨터 비전 / 데이터셋