전체 활동과 부분 행동
영상 전체를 하나의 표현으로 요약하면 진행 중인 활동을 이해하는 데 도움이 된다. ANTICIPATR는 여기에 여러 활동의 개별 구간에서 배운 표현을 추가해 미래 행동을 예측한다.
구간 표현의 활용
같은 상위 활동에만 한정하지 않고 서로 다른 활동에 있는 개별 구간으로부터 구간 수준 표현을 학습한다. 영상 전체의 맥락과 부분 행동의 단서를 결합하는 방식이다.
두 단계의 학습
두 종류의 표현을 사용하는 트랜스포머 모델을 두 단계로 훈련한다. 주어진 예측 시간 범위에 대해 미래 행동 인스턴스의 집합을 직접 예측하도록 한다.
평가 자료
Breakfast, 50Salads, EPIC-KITCHENS-55, EGTEA Gaze+에서 평가했다. 미래 행동 예측 결과는 관측한 영상에 근거한 추정이며 실제 미래의 확정된 기록과 구별해야 한다.
관련 문서
FUTR / ActFusion / LTContext / Bridge-Prompt / Ego4D / 트랜스포머