한 관측과 여러 해석
화면에 투영된 관절 위치만으로 깊이를 유일하게 알기는 어렵다. 손이 몸 앞에 있는지 뒤에 있는지 불확실한 경우에도 비슷한 2차원 배치가 나올 수 있다. MHFormer는 이런 모호함을 다루기 위해 여러 가능한 자세의 특징을 학습한다.
가설 사이의 정보 교환
초기 가설 표현을 만든 뒤 각 가설 내부의 관계를 처리한다. 표현을 모아 다시 나누는 과정을 거치고, 가설 사이의 상호작용으로 특징을 결합한다. 서로 독립인 검출기 여러 개의 결과를 단순 투표하는 방식과는 구성이 다르다.
평균만으로 해결되지 않는 예
설명용으로 깊이 후보가 −1과 1인 경우를 생각할 수 있다. 두 수의 평균은 0이지만 평균 위치가 실제 관절의 타당한 해라는 보장은 없다. MHFormer의 특징 결합을 좌표의 산술평균과 동일시해서는 안 된다. 이 예는 모델의 실제 출력 규칙이 아니다.
가설의 해석
여러 가설을 학습한다는 말이 모든 가능한 자세를 빠짐없이 열거한다는 뜻은 아니다. 특징의 다양성과 최종 관절의 정확도도 따로 살펴야 한다. 입력 검출 오류, 가림과 동작 종류를 나누어 확인하고 동일한 프레임 범위 및 정렬 기준에서 다른 방법과 비교한다.
관련 문서
PoseFormer / MixSTE / VideoPose3D / MotionBERT / PARE 인체 복원 / 트랜스포머