HMR 인체 복원

관절 위치보다 풍부한 출력

관절점만 예측하면 팔다리의 위치를 나타낼 수 있지만 몸의 표면 모양은 별도로 필요하다. HMR은 체형과 3차원 관절 각도로 매개변수화된 메시를 추정한다. 모델의 인체 표면과 옷 주름이나 머리카락까지 복원한 표면은 같은 뜻이 아니다.

재투영의 모호함

3차원 관절을 영상에 투영해 관측 키포인트와 비교할 수 있다. 하지만 한 영상의 같은 2차원 위치에 대응하는 깊이는 여러 가지일 수 있다. 예를 들어 화면에서 팔꿈치가 같은 위치에 보여도 팔이 앞이나 뒤로 향하는 자세는 달라질 수 있다.

학습된 인체 제약

키포인트 재투영만으로는 자세와 체형의 자유도가 충분히 제한되지 않는다. HMR은 인체 매개변수가 실제적인지 판단하는 적대적 학습을 활용한다. 그럴듯한 인체라는 제약과 사진 속 사람의 실제 숨은 자세를 정확히 알아내는 것은 다른 목표다.

감독과 출력의 해석

대응된 2차원·3차원 감독을 쓰거나 쓰지 않는 학습 구성을 제시한다. 후자의 경우에도 영상 키포인트와 인체 자료의 정보는 존재한다. 추정 결과는 관측과 사전 지식에 따른 모델이며 실제 신체 치수의 계측값으로 곧바로 해석하지 말고 가림과 촬영 조건에서의 오차를 확인한다.