하나의 영상과 여러 자세
같은 이차원 모습에 대응하는 삼차원 자세는 하나가 아닐 수 있다. MaskHand는 하나의 결정적인 출력만 학습하는 대신 가능한 복원의 분포를 다룬다.
이산 자세 토큰
VQ-MANO는 손의 관절 배치를 잠재 공간의 이산 토큰으로 바꾼다. 영상 화소를 그대로 손 표면으로 읽는 것이 아니라 자세를 표현하는 학습된 단위를 사용한다.
마스크를 채우는 학습
학습 중 일부 자세 토큰을 가리고, 남은 토큰과 영상 문맥 및 이차원 자세 단서를 이용해 함께 예측한다. 추론에서는 신뢰도를 고려한 샘플링으로 메시 복원을 만든다.
신뢰도의 의미
모델이 부여한 신뢰도는 실제 깊이를 직접 측정한 값과 다르다. 가려진 관절에서 그럴듯한 손이 생성되었다는 사실과 정답에 가까운 손이 복원되었다는 사실을 구분해 평가해야 한다.
관련 문서
HaMeR / WildHands / FreiHAND / InterHand2점6M / 삼차원 재구성 / 트랜스포머