관찰하는 사람과 상대
일인칭 자세 추정에서는 카메라 착용자의 몸과 눈앞의 상대를 구분해야 한다. EgoBody의 주요 벤치마크는 상호작용 상대의 몸을 일인칭 시점에서 추정하는 문제다.
여러 센서의 기록
컬러와 깊이, 시선 및 머리·손 추적을 포함한 자료를 기록한다. 복잡한 삼차원 장면에서 다양한 상호작용 시나리오를 수집했다.
장면 기준의 주석
헤드셋과 여러 Kinect로 구성한 장비를 보정한 뒤 다중 관점 RGB-D 프레임에 SMPL-X 메시를 맞춘다. 시간에 따른 형상과 자세를 장면에 상대적으로 복원하는 과정이다.
학습 입력과 정답 제작
다중 관점 자료는 정답 주석을 만드는 데 활용된다. 단일 일인칭 영상의 추정 모델과 촬영 장비 전체가 같은 입력을 사용한다고 가정해서는 안 되며, 센서 구성별 평가 조건을 확인해야 한다.
관련 문서
SLAHMR / EMDB / RICH 전신 접촉 데이터셋 / AssemblyHands-X / SMPL-X / 자세 추정