손만으로 설명되지 않는 활동
양손으로 작업할 때는 손가락뿐 아니라 팔과 상체도 함께 움직인다. AssemblyHands-X는 손 자세와 몸 자세를 따로 다루던 평가를 넘어 두 정보의 결합을 살핀다.
삼차원 주석의 구성
여러 카메라 영상의 삼각측량과 SMPL-X 메시 피팅을 결합해 손과 상체를 삼차원으로 정합한다. 신체에 붙인 물리적 마커가 영상에 남는 문제를 피하는 촬영 조건이다.
입력 표현의 비교
영상, 손 자세, 몸 자세, 손·몸 결합 자세를 행동 인식 모델의 입력으로 비교한다. 그래프 합성곱과 시공간 주의 구조에서 어떤 표현이 도움이 되는지 평가한다.
결합의 효과를 읽기
연구에서는 손과 몸을 함께 사용한 단서가 각각만 사용한 경우보다 행동 인식을 개선했다. 이 결과를 모든 활동에 동일하게 적용하기보다 촬영 조건과 행동 분류 과제의 범위를 확인해야 한다.
관련 문서
AssemblyHands / H2O 손 물체 상호작용 / ARCTIC 손 물체 데이터셋 / MANO 손 모델 / WildHands / 자세 추정