같은 영상과 다른 목적
영상이 같아도 관찰자의 목적에 따라 주의가 달라질 수 있다. 이 연구는 영상의 저수준 특징만이 아니라 행동 패턴과 과제 요인을 함께 고려하는 현저성 추정을 다룬다.
조건부 생성과 기억
조건부 생성적 적대 신경망의 의미 모델링에 기억 구조를 결합한다. 기억은 과제 의존적인 문맥과 관찰 행동의 정보를 반영하는 수단으로 사용된다.
과제 사이의 관계 학습
과제마다 별도의 모델을 학습하는 대신 조건부 틀 안에서 문맥의 의미와 여러 과제 사이의 관계를 함께 배우려 한다. 상향식 특징 학습과 하향식 과제 정보를 연결하는 접근이다.
기억의 의미와 평가
모델의 기억 상태는 사람의 실제 기억을 직접 읽은 값이 아니다. 과제 조건을 바꾸는 비교와 기억 모듈을 제거한 비교로 예측에 주는 영향을 따로 확인해야 한다.
관련 문서
SalGAN / Human Attention Transformer / Gazeformer / 생성적 적대 신경망 / 주의 메커니즘 / 컴퓨터 비전