가림 속의 공동 복원
손이 물체를 잡으면 손과 물체가 서로를 가린다. 각각을 따로 복원하는 것보다 어려워지지만, 접촉해야 하는 관계는 가능한 배치를 좁히는 단서도 된다.
조작 제약의 활용
함께 제시된 모델은 접촉 손실로 손과 물체의 배치를 정규화한다. 서로 떨어져 있거나 부자연스럽게 관통하는 배치보다 물리적으로 그럴듯한 구성을 선호하도록 학습한다.
합성 자료의 역할
손과 물체가 함께 등장하는 합성 장면으로 모델을 학습하고 평가할 수 있다. 관련 연구는 ObMan으로 학습한 모델을 실제 자료에 적용하는 전이도 조사했다.
전이 결과의 해석
합성 자료에서의 성능과 실제 촬영 장면에서의 성능은 구분된다. 접촉 제약이 있는 복원이라도 촬영 조건과 물체 형태가 바뀌면 오차가 달라질 수 있으므로 실제 자료에서 확인해야 한다.
관련 문서
ContactOpt / ContactPose / OakInk / HO-3D / HOLD 손 물체 복원 / 컴퓨터 비전