카메라 좌표와 전역 좌표
카메라 기준 자세만으로는 주변 공간에서 사람이 어떻게 이동했는지 설명하기 어렵다. WHAM은 몸 자세와 함께 전역 궤적을 추정하는 문제를 다룬다.
동작 문맥과 영상
모션 캡처 자료로 이차원 핵심점 시퀀스를 삼차원으로 올리는 방법을 학습한다. 이를 영상 특징과 융합해 움직임의 문맥과 화면의 단서를 함께 활용한다.
카메라 회전과 궤적
SLAM에서 얻은 카메라 각속도를 사람 움직임과 함께 사용한다. 이후 접촉을 고려해 궤적을 정제하며, 평평한 지면뿐 아니라 계단을 오르는 조건도 다룬다.
접촉 보정의 평가
발의 미끄러짐이 줄었다는 것과 몸 전체의 전역 위치가 맞는지는 다른 확인이다. 관절과 메시의 오차, 궤적 및 접촉 구간을 나누어 결과를 평가해야 한다.
관련 문서
GLAMR / HuMoR / LEMO 동작 사전 / AMASS / VIBE 인체 복원 / SLAM