전체 특징의 민감도
사람의 일부가 가려져도 나머지 몸은 충분히 보일 수 있다. 하지만 전체 영상 특징에 크게 의존하면 작은 가림이 자세 전체에 영향을 줄 수 있다. PARE는 부위별 가시성과 주변 정보를 활용해 이런 문제를 다룬다.
부위별 정보의 선택
학습된 부위 주의 마스크는 각 신체 부분의 추정에 유용한 정보를 모으도록 돕는다. 주의가 특정 영역을 강조했다고 그 영역의 신체 부분이 실제로 보인다고 확정되는 것은 아니다. 마스크는 모델 내부의 예측이며 관측 자료와 구분한다.
가려진 팔의 예
팔꿈치가 가려져도 어깨와 손목이 보이면 가능한 팔 자세를 제한할 수 있다. 하지만 두 점의 영상 위치만으로 팔꿈치의 깊이가 유일하게 정해지지는 않는다. 주변 부위의 정보가 단서가 된다는 것과 숨은 자세의 정답을 직접 관측한다는 것은 다르다.
부분 가림의 검증
가림이 없는 자료의 정확도만으로 부분 가림의 견고함을 판단하지 않는다. 가려지는 부위와 정도, 주변 물체의 외관이 달라지는 조건을 나누어 평가한다. 영상 재투영 오차와 실제 3차원 관절 및 표면 오차를 구분하고 다양한 체형과 자세에서 실패 사례도 확인한다.
관련 문서
VIBE 인체 복원 / HMR 인체 복원 / SPIN 인체 복원 / Nerfies / HeadSculpt / Point Transformer