고정된 연결의 한계
인체의 해부학적 연결은 일정해도 동작을 구분하는 데 중요한 관절 관계는 달라질 수 있다. 두 손이 함께 움직이는 동작과 한쪽 다리만 움직이는 동작이 그 예다. 2s-AGCN은 데이터에서 연결 관계를 학습하도록 구성한다.
관절과 뼈의 두 관점
관절 좌표는 각 지점의 위치를 나타내고 관절 사이의 차이 벡터는 뼈의 방향과 길이를 나타낸다. 모델은 이 두 정보를 별도 흐름으로 처리해 활용한다. 여기서 두 흐름은 RGB 영상과 광류를 뜻하지 않는다.
차이 벡터의 예
설명용으로 시작 관절이 (1, 2), 끝 관절이 (4, 6)이면 차이 벡터는 (3, 4)이고 길이는 5다. 두 좌표를 모두 (10, 0)만큼 옮겨도 차이 벡터는 같다. 다만 회전과 크기 변화에까지 자동으로 불변인 것은 아니다.
학습된 관계의 의미
표본에 따라 달라지는 관계와 공통적으로 학습하는 관계를 사용할 수 있다. 학습된 강한 연결이 실제 뼈나 동작의 원인을 발견했다는 뜻은 아니다. 분류 정확도와 함께 입력 관절의 오류, 사람 구분 및 촬영 시점의 변화에 대한 결과를 확인한다.
관련 문서
ST-GCN / PoseC3D / MotionBERT / OpenPose / 그래프 신경망 / 광류