기본 트랜스포머의 활용
자세 추정에 복잡한 전용 모듈을 더하는 대신 일반적인 비전 트랜스포머 인코더의 가능성을 살펴본다. 사람의 영상 특징을 가벼운 디코더에서 관절 예측으로 바꾼다. 전용 연산이 적다는 설명만으로 위치 정보나 학습 라벨이 필요 없다는 뜻은 아니다.
사람 검출과 관절 추정
주어진 사람 인스턴스를 처리하는 구성에서는 사람을 찾거나 잘라내는 앞단도 결과에 영향을 준다. 사람 상자가 일부 신체를 잘라내면 관절 모델에 들어오는 정보가 줄어든다. 관절 추정망의 성능과 전체 다중 인물 파이프라인의 성능을 구분한다.
시간 비용의 예
앞단 검출이 10ms, 한 사람의 관절 추정이 5ms라고 가정하자. 세 사람을 순차 처리하면 단순 합은 25ms다. 병렬 처리나 배치에 따라 달라질 수 있지만 한 사람의 속도를 전체 화면의 속도로 해석하면 안 된다는 예다.
크기와 학습의 조건
모델 규모와 입력 해상도, 사전 학습 및 미세 조정 방식은 정확도와 처리량에 영향을 준다. 큰 모델의 지식을 작은 모델로 옮기는 구성도 검토한다. 관절 위치의 오류와 가림 조건을 확인하고 특정 학습 설정의 결과를 모든 크기 모델에 동일하게 적용하지 않는다.
관련 문서
HRNet / 비전 트랜스포머 / DPT / HMR 인체 복원 / SPIN 인체 복원 / PARE 인체 복원