환경이 제한하는 자세
화면에서 비슷하게 보이는 자세라도 몸이 의자나 바닥을 뚫고 지나가면 장면과 맞지 않는다. PROX는 관측된 사람과 이미 알려진 장면의 관계를 복원 단서로 사용한다.
관통과 접촉 제약
관통 제약은 몸 모델과 주변 장면의 교차를 벌점으로 다룬다. 접촉 제약은 거리와 방향이 충분히 가까운 특정 몸 부위가 장면 표면에 닿도록 유도한다.
자세 모델과 평가
SMPLify-X를 확장해 장면 제약을 반영한 SMPL-X 자세를 추정한다. 별도의 180개 RGB 프레임 자료에서는 모션 캡처 기반 몸 자세를 사용해 정량 평가했다.
장면 정보의 조건
삼차원 장면이 주어지는 조건이므로 배경을 모르는 영상만 입력하는 방법과 직접 같은 조건은 아니다. 몸 관절과 표면의 오차뿐 아니라 장면과의 접촉·관통도 함께 확인할 수 있다.
관련 문서
RICH 전신 접촉 데이터셋 / COUCH 사람 의자 상호작용 / CHORE / InterCap / 자세 추정 / 삼차원 재구성