같은 활동을 다른 시점으로
수행자의 시야와 외부에서 본 움직임은 같은 활동의 서로 다른 정보를 담는다. Ego-Exo4D는 운동, 음악, 춤과 수리 같은 숙련 활동을 동시에 촬영해 두 시점을 연결한다.
영상 밖의 단서
다중 채널 음성, 시선, 삼차원 점군, 카메라 자세와 관성 측정 정보를 포함한다. 다양한 정보가 있다는 사실과 모든 평가 모델이 이를 전부 입력받는다는 것은 구분해야 한다.
언어 설명의 역할
활동에 대한 여러 언어 설명과 코치·교사 등 전문가의 해설을 연결한다. 무엇을 했는지에 대한 설명과 수행 능력에 대한 평가는 다른 관점을 제공한다.
평가 과제
세부 활동 이해, 숙련도 추정, 시점 간 변환과 삼차원 손·몸 자세를 벤치마크로 다룬다. 영상 시간은 여러 관점의 합산 규모이므로 독립적인 활동 시간과 동일하게 해석해서는 안 된다.
관련 문서
EgoBody / GIMO / WildHands / AssemblyHands / H2O 손 물체 상호작용 / 컴퓨터 비전