동적 장면의 주시
정지 사진과 달리 동영상에서는 움직임과 시간 변화가 시선을 바꿀 수 있다. DHF1K는 동적 장면의 자유 관찰 중 주시를 예측하는 연구를 위한 자료다.
여러 환경의 포함
장면 종류, 움직임, 물체와 배경의 복잡도가 넓게 분포하도록 영상들을 선정했다. 제한적인 상황만 포함한 평가보다 다양한 동적 장면을 다루려는 목적이다.
함께 제시된 모델
관련 연구는 CNN-LSTM에 주의 메커니즘을 더한 모델도 제안했다. 정적 현저성 정보를 명시적으로 반영해 LSTM이 프레임 사이의 시간 표현을 학습하도록 구성한다.
과제 조건의 차이
자유 관찰의 주시와 특정 물체를 찾는 탐색의 주시는 다를 수 있다. DHF1K에서의 결과를 목표 지향적 탐색이나 영상 속 등장인물의 시선 추정에 그대로 대응시키면 과제가 섞인다.
관련 문서
UNISAL / TASED-Net / ViNet / COCO-Search18 / 동영상 / 데이터셋