해상도를 낮췄다 되돌리는 대신
영상 신경망은 특징을 낮은 해상도로 압축한 뒤 출력에서 다시 키우기도 한다. HRNet은 높은 해상도 경로를 계속 유지하고 낮은 해상도의 경로를 병렬로 추가한다. 입력 영상의 원래 화소가 모든 단계에 그대로 복사된다는 뜻은 아니다.
서로 다른 규모의 정보
큰 문맥을 담는 낮은 해상도 특징과 세부 위치에 유리한 높은 해상도 특징은 역할이 다르다. 여러 경로는 반복해서 정보를 교환한다. 병렬 경로가 존재한다는 사실과 모든 경로의 공간 크기 및 특징 채널 수가 같다는 것은 구분한다.
위치 표현의 예
특징 지도의 한 칸이 원본의 8화소 간격에 해당한다면 두 칸의 차이는 원본에서 16화소다. 간격이 4화소인 지도에서는 두 칸이 8화소다. 해상도에 따라 좌표 간격이 달라지는 예이며 실제 관절 오차가 이 간격으로만 결정되지는 않는다.
고해상도와 정확도
고해상도 특징은 위치 추정에 도움을 줄 수 있지만 가림과 좌우 관절의 혼동을 모두 해결하지는 않는다. 관절별 위치 오차와 사람 검출 조건을 나누어 평가한다. 특징 지도의 크기와 채널이 실행 메모리와 비용에 영향을 주므로 같은 입력 크기에서 비교한다.
관련 문서
ViTPose / DPT / 비전 트랜스포머 / 합성곱 신경망 / HMR 인체 복원 / PARE 인체 복원