자세와 동작의 차이
팔을 든 한 장면만으로 손을 흔드는지 물건을 올리는지 구분하기 어려울 수 있다. 동작 인식은 시간에 따른 변화를 함께 다룬다. ST-GCN은 관절 위치를 추정하는 검출기 자체가 아니라 관절 시퀀스에서 동작 특징을 학습하는 모델이다.
두 종류의 연결
같은 프레임 안에서는 인체 골격에 따른 관절 관계를 다룬다. 시간 방향으로는 프레임 사이 관절의 변화를 처리한다. 공간적인 그래프 합성곱과 시간 처리를 결합해 한 관절의 변화와 주변 관절의 움직임을 함께 표현한다.
그래프 크기의 예
설명용으로 프레임이 4개이고 각 프레임에 관절이 3개라면 관절 시점 쌍은 12개다. 같은 관절의 연속 프레임만 잇는 시간 간선은 3×3=9개가 된다. 실제 모델은 골격 정의와 처리 범위에 따라 연결 구성이 달라진다.
관절 입력의 한계
관절 정보는 배경과 옷의 영향을 줄일 수 있지만 손에 든 작은 물체와 주변 상황은 놓칠 수 있다. 키포인트의 누락이나 사람 식별 오류도 분류에 영향을 준다. 사람과 촬영 시점을 나누는 평가 규약을 확인해야 학습 장면의 반복에 의한 성능을 구분할 수 있다.
관련 문서
PoseFormer / MotionBERT / OpenPose / HRNet / 그래프 신경망 / 합성곱 신경망