시간과 공간의 다른 관계
손목이 시간에 따라 움직이는 관계와 한 프레임에서 손목·팔꿈치가 연결되는 관계는 다르다. MixSTE는 이 두 종류의 정보를 별도로 학습하고 교대로 처리한다. 모든 관절이 같은 움직임을 보인다고 가정하는 것은 아니다.
시퀀스의 크기 예
프레임이 10개이고 프레임마다 관절이 5개라면 관절 관측은 50개다. 시간 관계는 같은 관절의 10개 관측을, 공간 관계는 각 프레임의 5개 관절을 연결하는 식으로 구분할 수 있다. 설명용 크기이며 실제 모델의 입력 설정은 아니다.
전체 프레임의 출력
입력 시퀀스의 가운데 프레임만 추정하는 대신 여러 입력 프레임에 대응하는 자세를 함께 출력한다. 입출력 시퀀스의 관계를 일관되게 다루려는 구성이다. 여러 프레임을 한 번에 예측해도 시간적 흔들림이나 깊이 모호함이 모두 사라지는 것은 아니다.
평가 규약의 영향
정렬 후의 관절 오차와 정렬하지 않은 오차는 서로 다른 기준이다. 입력에 사용하는 2차원 검출기와 프레임 수, 미래 정보의 포함 여부도 결과에 영향을 준다. 키포인트가 가려지거나 빠른 동작이 있는 조건에서 공간 정확도와 시간적 일관성을 함께 확인한다.
관련 문서
VideoPose3D / VIBE 인체 복원 / ViTPose / HRNet / OpenPose / 트랜스포머