관측한 과거에서 예측하기
AVT는 이전에 관측한 영상 정보를 이용해 미래 행동을 예상한다. 미래 프레임을 실제 입력으로 미리 확인하는 인식 과제와 구별되는 설정이다.
행동과 특징의 공동 학습
다음 행동을 예측하면서 이어질 프레임의 특징도 예측하도록 프레임 인코더를 학습한다. 행동 이름만 맞추는 감독에 표현의 시간적 예측을 더한다.
순서와 장기 관계
관측된 행동의 순차적 진행을 유지하면서 먼 시간의 의존성을 포착하도록 설계했다. 영상을 하나의 집계 표현으로 줄이는 방식과 비교되는 특징이다.
평가 범위
EPIC-KITCHENS-55, EPIC-KITCHENS-100, EGTEA Gaze+, 50Salads에서 평가했다. 다음 행동을 예측하는 결과와 여러 분에 걸친 전체 행동열 예측은 같은 설정으로 간주할 수 없다.
관련 문서
RU-LSTM / FUTR / ANTICIPATR / ActFusion / EgoVLP / 트랜스포머