대응과 인체 상태를 함께 찾기
인체 스캔 정합에서는 어떤 스캔 점이 모형의 어디에 해당하는지와 인체의 자세 및 형상을 함께 추정해야 한다. 고전적인 최적화는 초기 상태에 민감할 수 있다. LoopReg는 여러 스캔을 공통 인체 모형에 연결하는 종단간 학습을 제안한다.
대응이 돌아오는 순환
신경망은 스캔 점에서 모형 표면으로의 대응을 예측한다. 인체 모형은 자세와 형상 매개변수를 이용해 이 대응점을 스캔 쪽으로 다시 변환한다. 두 방향을 연결한 순환이 학습 신호를 만드는 핵심이다.
표면 근처의 예측 처리
정준 표면을 3차원 거리장의 영 수준 집합으로 표현하고 인체 모형을 주변 3차원 영역으로 확장한다. 예측이 표면에서 조금 벗어나도 정방향으로 보낼 수 있게 한다. 지도 초기 학습을 사용하므로 학습 전체가 완전히 무지도라는 설명은 부정확하다.
왕복 대응의 독립 예
설명용으로 스캔의 팔꿈치 점을 모형 손목으로 잘못 대응시키면 되돌아온 위치와 원래 점이 달라질 수 있다. 왕복 오차는 단서지만 모든 모호한 대응을 단독으로 해결하는 증거는 아니다. 실제 평가 스캔을 사용하지 않은 정합 해석의 예다.
관련 문서
SMPL / SMPL-X / DensePose / PIFu / PIFuHD / HUND