작고 가려진 물체
손에 든 물체는 영상에서 작게 보이고 손에 가려질 수 있다. 관련 연구는 추정한 삼차원 손이 물체의 위치와 크기를 판단하는 기준이 될 수 있다는 점을 이용한다.
단일 영상의 공동 복원
MCC-HO는 RGB 영상과 추정한 삼차원 손을 입력으로 손과 물체의 기하를 함께 복원한다. 이미지의 단서와 손의 공간 정보를 결합하는 단계다.
여러 프레임의 공통 형상
RAR은 GPT-4(V)를 활용해 텍스트 기반 삼차원 생성 모델을 유도하고 영상에 맞는 물체 모델을 얻는다. 이 형상을 전체 프레임에서 공유하고 영상 및 MCC-HO 관측에 강체 정렬한다.
검색 결과와 관측의 역할
얻은 물체 모델은 영상에서 가려진 부분에 대한 사전 정보를 제공한다. 닮은 모델을 얻는 것과 실제 물체의 형상을 정확히 복원하는 것은 구분되므로 영상 정합과 시간 일관성을 함께 확인해야 한다.
관련 문서
InterTrack / HOLD 손 물체 복원 / HaMeR / Hand3R / HO-3D / 삼차원 재구성