좌표에서 히트맵으로
관절 하나를 좌표 한 쌍으로만 나타내는 대신 주변 공간에 값을 분포시킨 히트맵으로 표현한다. 프레임별 히트맵을 시간축으로 쌓아 동작의 변화를 처리한다. 관절을 찾는 앞단 추정기의 품질은 여전히 중요하다.
여기서 말하는 3차원
기본적인 2차원 자세 입력에서는 히트맵 부피의 축이 시간, 화면 높이, 화면 너비다. 3차원 합성곱이라는 이름만 보고 실제 공간의 깊이 좌표를 직접 측정한다고 해석하면 안 된다. 입력을 표현하는 차원과 사람의 물리적인 공간 좌표는 다르다.
격자 크기의 예
설명용으로 8프레임의 16×16 히트맵을 쌓으면 한 채널은 2,048개의 값을 가진다. 화면 격자의 두 축을 각각 두 배로 늘리면 같은 프레임 수에서 값의 수는 네 배가 된다. 채널 수와 중간 특징을 포함한 실제 메모리 사용량은 별도로 계산해야 한다.
다른 영상 정보와 결합
규칙적인 격자 특징은 RGB 영상 특징과 결합하기에 적합하다. 관절만으로 구분하기 어려운 물체나 배경의 단서를 함께 사용할 수 있다. 다중 인물 히트맵 처리의 비용과 앞단 사람 검출 비용도 구분하고, 최종 동작 분류 성능은 입력 관절의 오류 조건별로 확인한다.