손과 물체가 함께 변하기
물체를 여닫는 조작에서는 손의 자세와 물체의 상태가 동시에 바뀐다. ARCTIC은 이런 양손 조작을 손과 물체의 동기화된 삼차원 주석으로 연구하는 자료다.
일관된 동작 복원
단안 영상에서 두 손과 관절 물체를 삼차원으로 복원하되 시간과 공간의 움직임이 일관되어야 하는 과제를 제시한다. 개별 프레임의 자세만 맞히는 평가보다 관계를 더 고려한다.
상호작용장 추정
영상으로부터 손과 물체 표면 사이의 조밀한 상대 거리를 추정하는 과제도 포함한다. 접촉 여부만 이진 값으로 표현하는 것보다 공간 관계의 정보를 풍부하게 다룬다.
관계 오차의 중요성
손과 물체를 각각 그럴듯하게 복원해도 둘이 겹치거나 떨어진 정도가 틀릴 수 있다. 각 표면의 오차와 손·물체 사이의 상대 관계를 함께 평가해야 조작 장면을 해석할 수 있다.
관련 문서
DexYCB / HO-3D / FreiHAND / ChildPlay-Hand / 삼차원 재구성 / 컴퓨터 비전