행동이 기여하는 목표
같은 동작도 전체 활동에서 맡는 역할이 달라질 수 있다. Goal-Step은 낮은 수준의 행동과 중간 단계, 상위 목표 사이의 관계를 함께 다룬다.
영상에 맞춘 분류 체계
미리 정한 분류표를 영상에 일방적으로 맞추기보다 자료에 기반해 계층적 활동 분류 체계를 구성했다. 행동 라벨과 실제 영상 내용의 정렬을 고려하는 접근이다.
목표 지향 보조 정보
자연어 요약과 단계 완료 상태, 단계가 목표에 얼마나 관련되는지에 관한 정보를 제공한다. 같은 단계 이름만으로 드러나지 않는 절차의 역할을 살펴볼 수 있다.
규모와 활용
논문은 단계 주석 약 4만 8천 구간과 상위 목표 주석 2807시간을 보고했다. 이 규모는 논문 기준이며, 목표 추론과 단계 예측, 계층 관계 학습, 장기 시간 모델링을 연구하는 자료로 사용한다.
관련 문서
Ego4D / EgoT2 / Assembly101 / ANTICIPATR / ActFusion / HoloAssist