위키득계정 ↗
기술

RTMW

RTMW기술
전체 이름
Real-Time Multi-Person Whole-body Pose Estimation
대상
2차원 및 3차원 전신 자세
구조 보완
FPN 및 HEM
학습 보완
주석 정렬과 두 단계 증류
RTMW는 몸통과 손, 얼굴, 발을 함께 다루는 다인 전신 자세 추정 모형 계열이다. RTMPose에 특징 피라미드와 계층 부호화 모듈을 결합하고 두 단계 증류를 이용해 여러 크기의 신체 부위 정보를 학습한다.

전신의 세밀한 관절점

전신 자세 추정은 큰 몸통뿐 아니라 작은 손과 얼굴, 발의 관절점까지 함께 예측한다. 부위마다 화면에서 차지하는 크기가 달라 같은 수준의 특징만으로 다루기 어려울 수 있다. RTMW는 이런 여러 규모의 정보를 고려한다.

특징 피라미드와 계층 부호화

RTMPose 구조에 특징 피라미드와 계층 부호화 모듈을 더한다. 서로 다른 신체 부위의 자세 정보를 포착하는 방향이다. 모형 계열의 크기 선택과 입력 영상 조건에 따라 효율과 정확도를 확인해야 한다.

자료 학습과 3차원 확장

수작업으로 주석을 맞춘 여러 공개 관절 자료를 모아 학습하고 두 단계 증류로 보완한다. 단안 이미지의 3차원 전신 자세는 좌표 분류 방식으로도 다룬다. 2차원 평가 점수와 3차원 복원 정확성을 같은 수치로 읽어서는 안 된다.

부분별 정확도의 독립 예

설명용으로 어깨와 무릎은 잘 맞아도 작은 손가락 끝이 크게 어긋날 수 있다. 몸통 중심의 결과만 보고 전신의 모든 부위가 정확하다고 판단하기 어렵다. 실제 평가 이미지를 옮기지 않은 부위별 검토의 예다.

관련 문서

RTMPose / HRNet / ViTPose / OpenPose / TriPose / HUND