가까운 손의 원근 왜곡
일인칭 카메라 가까이 있는 손은 원근의 영향을 크게 받는다. 물체에 의한 가림, 작은 영상 영역과 움직임 흐림도 관절 위치를 알아내기 어렵게 만든다.
잘라낸 영상과 카메라 정보
손 영역을 확대하면 세부 모습을 보기 쉬워지지만 촬영 기하를 함께 고려해야 한다. 이 연구는 잘라낸 입력과 카메라 정보 사용을 포함한 학습 관행을 비교하며 합성곱 모델과 트랜스포머 모델에서 영향을 살폈다.
다른 촬영 환경에서 확인하기
H2O, AssemblyHands, Epic-Kitchens, Ego-Exo4D에서 제로샷 평가를 수행했다. 이는 해당 평가 자료에 맞춰 추가 학습하지 않는 조건을 뜻하며, 어떤 환경에서도 같은 정확도를 보장한다는 뜻은 아니다.
지표를 나누어 보기
화면상의 이차원 관절 위치와 삼차원 자세는 평가하는 정보가 다르다. 촬영 환경이 바뀌었을 때 각 지표가 어떻게 달라지는지 확인해야 손의 겉모습과 깊이 추정의 개선을 구분할 수 있다.
관련 문서
H2O 손 물체 상호작용 / AssemblyHands / ARCTIC 손 물체 데이터셋 / FreiHAND / 자세 추정 / 컴퓨터 비전