위키득계정 ↗
기술

AssemblyHands

AssemblyHands기술
촬영 대상
장난감의 조립과 분해
기반 자료
Assembly101
영상 규모
주석 영상 약 300만 장
일인칭 영상
약 49만 장
AssemblyHands는 조립과 분해 장면의 손 자세를 연구하는 데이터셋이다. 동기화된 일인칭·외부 시점 영상에서 다중 관점 정보를 결합해 손 자세 주석을 만들며, 가림이 많은 작업 장면을 다룬다.

작업 중의 손

물체를 조립할 때는 손가락이 부품이나 반대 손에 가려질 수 있다. AssemblyHands는 이런 작업 장면에서 삼차원 손 자세를 추정하는 문제를 다룬다.

여러 관점의 결합

초기 수동 주석으로 자동 주석 모델을 학습하고 다중 관점 융합과 반복적인 정제를 이용한다. 보이는 관점이 다르다는 점을 활용하지만 자동 주석을 오차 없는 정답으로 간주해서는 안 된다.

단일 시점 추정

관련 연구는 단일 시점 삼차원 손 자세 추정의 기준 방법을 제공한다. 주석 제작에 외부 시점을 활용하는 것과 평가에서 한 장의 영상을 입력으로 사용하는 것은 다른 조건이다.

행동 분류와의 관계

손 자세의 품질이 행동 분류에 어떤 영향을 주는지도 평가한다. 손의 모양이 비슷해도 작업 단계나 물체 상태가 다를 수 있으므로 관절 오차와 행동 분류 정확도를 같은 지표로 해석하지 않는다.

관련 문서

H2O 손 물체 상호작용 / ARCTIC 손 물체 데이터셋 / DexYCB / HO-3D / FreiHAND / 컴퓨터 비전