자세와 환경의 접촉
몸의 자세만으로는 어느 부분이 주변 표면과 닿는지 충분히 설명되지 않을 수 있다. RICH는 몸과 환경의 관계를 조밀한 접촉 주석으로 다룬다.
삼차원 관측의 구성
마커 없는 모션 캡처로 얻은 사람의 삼차원 몸 자료와 신체 스캔, 고해상도 장면 스캔을 제공한다. 접촉을 몇 개의 미리 정한 부위로만 축약하지 않고 몸의 꼭짓점 단위로 표시한다.
BSTRO의 추정
함께 제시된 Body-Scene contact Transformer는 단일 RGB 영상에서 조밀한 몸·장면 접촉을 예측한다. 접촉 부위가 가려지는 문제를 다루기 위해 영상 전체의 비국소 관계를 학습한다.
관측과 추론 구분
자료를 제작할 때 쓰는 다중 관점 정보와 모델에 입력하는 단일 영상은 다른 조건이다. 삼차원 접촉 주석을 제공한다고 모든 단일 영상에서 접촉이 직접 보이는 것은 아니다.
관련 문서
BEHAVE 상호작용 데이터셋 / InterCap / ContactPose / GRAB 전신 파지 데이터셋 / CHORE / 모션 캡처