동작과 자세를 연결하기
손이 어디에 있는지와 무엇을 하는지는 다른 질문이다. H2O는 양손과 물체의 공간 배치를 상호작용 종류와 연결해 연구할 수 있도록 구성되었다.
촬영 정보와 주석
카메라 자세와 장면의 점군도 포함한다. 물체의 육자유도 자세는 삼차원 위치와 회전을 나타내며, 손의 관절 자세와는 구분된다.
관계를 이용한 인식
함께 제시된 방법은 RGB 영상에서 손과 물체의 자세를 추정하고 그래프 합성곱으로 상호작용을 인식한다. 연결 구조를 학습해 각 대상 내부와 대상 사이의 의존 관계를 다룬다.
평가에서 구분할 것
관절 위치가 정확하다고 동작 종류까지 정확한 것은 아니다. 자세 추정과 상호작용 인식의 결과를 나누어 확인해야 하며, 동기화된 여러 카메라로 자료를 만들었다는 사실이 모든 추론 입력을 뜻하지는 않는다.
관련 문서
DexYCB / HO-3D / ARCTIC 손 물체 데이터셋 / FreiHAND / 자세 추정 / 컴퓨터 비전