크기와 속도가 달라지는 영상
훈련 자료와 사람의 크기나 동작 속도가 다르면 자세 추정이 어려워질 수 있다. 심한 가림도 관절 위치를 불확실하게 만든다. 이 방법은 공간과 시간의 다양한 조건 및 가림을 함께 고려한다.
공간과 시간의 여러 수준
프레임마다 다중 규모 공간 특징으로 2차원 관절을 예측한다. 여러 시간 간격의 시간 합성곱망을 이용해 3차원 관절을 추정한다. 사람 크기의 차이와 동작 속도의 차이를 같은 한 가지 변화로 보지 않는 구성이다.
가려진 관절과 움직임 판별
학습 중 일부 관절을 가려 가벼운 경우부터 심한 가림까지 모의한다. 신체 구조와 팔다리 움직임에 기반한 시공간 판별기를 사용한다. 부족한 3차원 정답을 보완하기 위해 2차원 영상도 활용하는 반지도 학습을 다룬다.
보이지 않는 관절의 독립 예
설명용으로 책상 아래에 발목이 가려져도 앞뒤 시점의 다리 움직임은 단서가 될 수 있다. 단서가 있다는 사실과 실제 발목 위치가 유일하게 정해진다는 뜻은 다르다. 실제 실험 장면을 옮기지 않은 가림 추정의 예다.
관련 문서
VideoPose3D / PoseFormer / MixSTE / MotionBERT / HUND / TriPose