채널마다 다른 관계
특징 채널은 관절의 여러 속성을 표현하는 내부 값이다. 어떤 채널에는 양손의 관계가, 다른 채널에는 몸통과 다리의 관계가 중요할 수 있다. CTR-GCN은 모든 채널에 같은 연결만 적용하는 제약을 완화한다.
공유 구조를 보정하기
채널별 그래프를 각각 완전히 독립적으로 학습하는 대신 공유 토폴로지를 바탕으로 관계를 보정한다. 채널 특유의 관계는 입력 표본에 따라 추론된다. 이렇게 얻은 관계로 관절 특징을 모으고 시간 모델링 모듈과 결합한다.
관계 가중치의 예
설명용으로 두 관절의 값이 2와 8이라고 하자. 관계 가중치를 0.75와 0.25로 두면 가중합은 3.5이고 반대로 두면 6.5다. 관계 선택만 달라져도 모은 특징이 달라진다. 실제 모델의 정규화나 채널 계산을 그대로 나타낸 식은 아니다.
연결과 원인의 구분
내부 연결 가중치는 분류를 위한 학습 결과다. 값이 크다고 해당 관절이 행동의 원인이라는 인과 해석을 할 수는 없다. 비교에서는 입력 관절, 사람과 시점의 분할 조건을 맞추고 채널 수 및 시간 처리에 따른 계산량도 함께 확인한다.
관련 문서
2s-AGCN / ST-GCN / PoseC3D / MotionBERT / 그래프 신경망 / 합성곱 신경망