일상적인 손과 물체
물체를 들고 살피거나 내려놓는 행동뿐 아니라 주방, 사무실과 거실에서 일어나는 활동을 기록했다. 여러 일인칭 카메라의 관측으로 가림 속의 손과 물체를 분석한다.
자세 주석의 구성
손과 물체에 부착한 작은 광학 마커를 모션 캡처로 추적했다. 손 주석은 UmeTrack과 MANO 형식이며 물체는 스캔한 삼차원 메시와 재질로 표현한다.
동기화된 관측
다중 관점 컬러·단색 영상과 카메라 자세, 손·물체 자세를 연결한다. 자료에는 시선과 장면 점군도 포함되므로 장치와 시퀀스별 관측 구성을 확인해야 한다.
평가 과제의 조건
손 추적, 모델 기반 육자유도 물체 자세 추정과 알 수 없는 손 안 물체의 삼차원 복원을 평가한다. 알려진 물체 모델을 쓰는 과제와 미지 형상을 복원하는 과제는 조건이 다르다.
관련 문서
MANO 손 모델 / DexYCB / HO-3D / HOI4D / Ego-Exo4D / HOLD 손 물체 복원