사진에서 인체 상태 추정하기
한 이미지에서 인체의 3차원 자세와 형상을 함께 추정하는 문제다. HUND는 표현력이 높은 통계적 전신 인체 모형인 GHUM을 이용한다. 이미지에 보이는 모양과 모형 상태를 연결하는 최적화 과정을 학습한다.
갱신 과정을 배우기
학습하면서 최적화하는 접근으로 반복 단계를 구성해 자세와 형상 매개변수를 갱신한다. 학습의 이차 미분이나 시험 시 값비싼 상태 경사 하강을 피하는 방향이다. 최적화가 전혀 없다는 뜻보다 갱신 규칙을 학습한다는 점이 중요하다.
중간 손실과 마지막 개선
손실을 줄이는 것뿐 아니라 과정의 최종 개선을 고려하는 메타 정규화를 사용한다. 학습과 시험의 대칭성을 활용해 자기 지도 조건 등 여러 운용 방식을 지원한다. 각 방식에서 어떤 관측과 학습 신호를 쓰는지는 구분해야 한다.
한 시점의 모호함
설명용으로 사진에서 겹쳐 보이는 두 팔은 깊이 순서가 다른 여러 자세로 설명될 수 있다. 2차원 외관이 맞는다고 실제 3차원 상태가 유일하게 확인되는 것은 아니다. 실제 연구 결과를 재현하지 않은 단일 시점 추정의 불확정성에 대한 예다.
관련 문서
LoopReg / SMPL / SMPL-X / VIBE / SPIN / DensePose