관절 위치와 사람의 소속
사람이 여러 명이면 손목과 팔꿈치 위치를 각각 찾는 것만으로 충분하지 않다. 어떤 관절이 같은 사람에 속하는지도 결정해야 한다. OpenPose는 관절의 위치 단서와 부위 사이의 연결 단서를 함께 학습한다.
부위 친화장의 역할
부위 친화장은 신체 부분 사이의 관계를 나타내는 비매개변수 표현이다. 이를 활용해 검출된 관절을 사람별로 연결한다. 영상에서 두 관절이 가깝다고 무조건 같은 사람으로 잇는 단순한 거리 규칙과는 다르다.
혼잡한 장면의 예
두 사람이 나란히 서서 팔을 교차하면 한 사람의 손목이 다른 사람의 팔꿈치에 더 가까울 수 있다. 거리만으로 연결하면 팔이 잘못 이어질 수 있다. 연결 관계의 영상 단서가 필요한 이유를 설명하는 예이며 모든 가림에서 올바른 연결이 보장되는 것은 아니다.
2차원 출력의 범위
확장된 시스템은 몸과 발, 손 및 얼굴 키포인트도 다룬다. 그러나 영상 평면의 키포인트가 실제 3차원 관절 위치나 신체 치수는 아니다. 실행 비용은 해상도와 사용 모듈 및 후처리에 영향을 받으므로 사람 수만으로 속도를 판단하지 않고 가림과 연결 오류를 함께 확인한다.
관련 문서
RTMPose / HRNet / ViTPose / HMR 인체 복원 / SPIN 인체 복원 / VIBE 인체 복원