손 모델의 매개변수
손의 표면을 각 점마다 독립적으로 예측하는 대신 일반적인 손 모델의 형상과 관절 각도를 조정한다. 이 표현은 손 표면과 관절의 관계를 함께 다루게 한다.
표면에서 관절로
메시 꼭짓점을 선형 보간해 삼차원 관절 위치를 계산하고 이를 영상에 투영해 이차원 관절을 얻는다. 표면, 삼차원 관절과 이차원 관절이 연결된 계산 과정이다.
재투영을 이용한 학습
투영된 관절과 정답 주석의 차이로 재투영 손실을 구성한다. 계산이 미분 가능하므로 관절의 오차를 손 모델 매개변수를 예측하는 과정으로 전달할 수 있다.
영상 일치와 깊이
투영 위치가 맞는다고 모든 삼차원 표면이 정확한 것은 아니다. 영상상의 정합과 삼차원 자세 성능을 구분해야 하며, 가림이 있는 장면의 결과도 평가 범위 안에서 해석해야 한다.