예측과 최적화의 협력
직접 회귀는 빠르게 초기 추정을 만들 수 있지만 영상의 모든 관절과 정밀하게 맞지는 않을 수 있다. 반복 최적화는 관측에 맞출 수 있지만 초기값과 비용의 영향을 받는다. SPIN은 두 접근을 서로 돕는 과정으로 연결한다.
학습 안의 맞춤
신경망이 제시한 자세와 체형을 초기값으로 사용해 인체 모델을 2차원 관절에 맞춘다. 그 결과를 신경망이 배울 목표로 활용한다. 학습 중 최적화가 있다는 사실을 실제 실행에서도 항상 같은 최적화를 수행한다는 의미로 해석하면 안 된다.
목표 오차의 예
관절의 재투영 위치가 (20,30)이고 관측이 (23,34)라면 두 위치의 유클리드 거리는 5화소다. 이 오차를 줄이는 맞춤은 영상 정렬을 개선할 수 있다. 하지만 같은 투영에 여러 3차원 자세가 대응하므로 작은 화소 오차만으로 실제 자세를 확정할 수는 없다.
상호 개선의 조건
더 나은 초기 추정은 맞춤을 도울 수 있고 더 나은 맞춤은 감독을 개선할 수 있다. 잘못된 키포인트나 부적절한 형상 가정은 두 과정에 영향을 준다. 영상 정렬과 3차원 관절 및 표면 오차를 구분해 평가하고 가림과 다양한 체형에서의 실패도 확인한다.
관련 문서
HMR 인체 복원 / Nerfies / HeadSculpt / DeepSDF / 점유 네트워크 / DUSt3R