가림과 잡음 속의 움직임
일부 관절이 가려지거나 관측에 잡음이 있으면 프레임별 자세가 불안정해질 수 있다. HuMoR는 가능한 동작 변화의 분포를 학습해 연속된 자세를 복원하는 단서로 쓴다.
변화의 분포 배우기
하나의 다음 자세만 정하는 대신 조건부 생성 모델로 시간 단계마다 자세가 어떻게 변하는지 표현한다. 대규모 모션 캡처 자료에서 다양한 동작과 몸 형상에 대한 사전을 학습한다.
관측에 맞춘 최적화
학습한 사전과 실제 관측을 결합하는 최적화 방법을 제시한다. 삼차원 핵심점이나 컬러 영상, 깊이를 포함한 영상처럼 서로 다른 입력에서도 움직임을 복원하도록 구성한다.
그럴듯함과 관측 일치
동작 사전이 선호하는 움직임과 실제로 관측된 움직임은 다를 수 있다. 가려진 구간의 자연스러움뿐 아니라 보이는 관절과의 일치 및 시간별 오차를 함께 평가해야 한다.
관련 문서
AMASS / LEMO 동작 사전 / PROX 장면 제약 자세 추정 / POSA / 변이형 자동 인코더 / 모션 캡처