화소에서 관절로
영상에서 관절 위치를 얻는 단계와 그 위치를 3차원으로 올리는 단계는 구분된다. PoseFormer의 자세 추정기는 2차원 관절 시퀀스를 입력으로 받는다. 앞단 검출기가 손목을 잘못 찾으면 시간 정보가 있어도 그 오류의 영향을 받을 수 있다.
공간과 시간의 결합
공간 처리는 한 프레임 안의 관절 배치를 다루고 시간 처리는 여러 프레임의 관계를 다룬다. 팔꿈치와 손목의 관계, 손목이 움직이는 경로를 함께 고려할 수 있다. 이 단계의 트랜스포머 구성과 원본 영상에서 관절을 찾는 검출기의 구조를 혼동하지 않아야 한다.
가운데 프레임과 대기 시간
설명용으로 연속된 9프레임에서 다섯 번째 자세를 예측한다고 하자. 뒤쪽 4프레임이 도착해야 하므로 초당 30프레임 영상에서는 약 0.133초의 관측 대기가 생긴다. 이는 실제 논문의 고정 입력 길이가 아니며 계산 시간과 전송 지연도 제외한 예다.
비교할 조건
가운데 자세를 출력하는 방식은 전체 시퀀스를 출력하는 방식과 입출력 단위가 다르다. 정확도를 비교할 때 입력 프레임 수와 미래 정보 사용 여부, 2차원 키포인트의 출처를 맞춰야 한다. 정렬 후 관절 오차만으로 실제 좌표계에서의 위치 정확도까지 판단할 수는 없다.
관련 문서
MixSTE / VideoPose3D / ViTPose / HRNet / OpenPose / 트랜스포머