카메라 착용자의 다음 행동
1인칭 행동 예측은 영상을 보는 사람이 아니라 카메라를 착용한 사람이 무엇을 하고 어떤 물체와 상호작용할지 예상하는 과제다. RU-LSTM은 가까운 미래의 이러한 관계를 다룬다.
두 LSTM의 분업
하나의 LSTM이 관측된 과거를 요약하고 다른 LSTM이 미래를 추론한다. 시퀀스 완성 사전 학습으로 두 역할에 집중하도록 유도한다.
모달리티 주의
RGB의 외형, 광학 흐름의 움직임, 물체 기반 특징을 각각 처리한 예측을 MATT로 결합한다. 단서마다 고정된 비율을 쓰기보다 적응적으로 가중하는 방식이다.
평가와 관련 과제
EPIC-Kitchens, EGTEA Gaze+, ActivityNet에서 평가하고 조기 행동 인식과 행동 인식에도 적용했다. 이미 진행 중인 행동을 빨리 알아보는 것과 시작 전 행동을 예측하는 것은 구별된다.