움직임의 관찰 범위
몸 전체가 이동하면서 손목은 빠르게 회전하고 몸통은 천천히 움직일 수 있다. 같은 시간 구간 안에서도 부위마다 변화 양상이 다르다. HSTFormer는 모든 관계를 한 수준에서만 처리하는 대신 여러 수준에서 특징을 학습한다.
국소 관계에서 전역 관계로
가까운 관절 사이의 관계와 몸 전체의 자세 관계를 점차 함께 다루도록 계층을 구성한다. 네 인코더에서 처리한 특징은 융합 모듈로 결합한다. 계층적이라는 표현은 서로 다른 관계 범위를 다룬다는 의미이며 원본 영상의 화질을 높인다는 뜻은 아니다.
크기와 각도의 구분
설명용으로 두 관절이 각각 (0, 0), (1, 0)에 있다가 (0, 0), (2, 0)으로 바뀌면 연결 방향은 같고 거리는 두 배가 된다. 좌표 간 관계에서 길이와 방향은 다른 정보다. 이 예는 인코더의 실제 관절 묶음이나 계산식을 나타내지 않는다.
계층화와 일반화
여러 수준을 처리해도 학습에서 보지 못한 자세나 심한 가림의 정답이 보장되지는 않는다. 작은 데이터와 큰 데이터에서의 차이, 입력 관절 검출의 품질을 함께 확인해야 한다. 추가 블록에 따른 계산량과 사용 프레임 수도 정확도와 별도로 비교한다.
관련 문서
MHFormer / PoseFormer / MixSTE / MotionBERT / VideoPose3D / HRNet