클립에서 한 장의 지도로
인코더는 연속 프레임의 클립에서 낮은 해상도의 시공간 특징을 추출한다. 뒤의 예측 네트워크는 공간적으로 이를 복원하면서 시간 정보를 집계해 하나의 예측 지도를 만든다.
시간 집계의 위치
시간 정보를 앞에서만 합치는 것과 달리 공간 복원 과정에서도 집계를 다룬다. 움직이는 장면의 특징과 위치 정보를 함께 활용하려는 구성이다.
창을 옮겨가며 예측하기
전체 영상에는 정해진 길이의 입력 창을 옮겨 적용해 프레임별 현저성 지도를 얻는다. 제한된 과거 프레임을 고려해 현재 지도를 예측한다는 설정이다.
입력 길이의 선택
긴 입력 창은 더 많은 시간 문맥을 제공하지만 계산량과 메모리도 늘 수 있다. 갑작스러운 장면 전환에서는 이전 장면의 정보가 도움이 되는지도 별도로 확인해야 한다.
관련 문서
UNISAL / UniST / VideoAttentionTarget / 합성곱 신경망 / 동영상 / 컴퓨터 비전