장면과 움직임의 속도
사람이나 물체의 형태는 비교적 느리게 변해도 손의 빠른 움직임은 짧은 간격으로 관찰해야 할 수 있다. SlowFast는 시간 표본의 밀도가 다른 두 경로로 이런 단서를 처리한다. 같은 영상을 단순히 두 번 분류하는 것과는 목적이 다르다.
빠른 경로의 가벼운 구성
빠른 경로는 더 많은 시점을 읽지만 채널 용량을 줄여 계산 부담을 제한한다. 느린 경로와 빠른 경로의 특징을 결합해 최종 인식에 활용한다. 빠르다는 이름은 경로의 실행 시간이 항상 더 짧다는 뜻이 아니라 시간 표본 비율을 가리킨다.
시간 표본의 예
설명용으로 같은 구간에서 느린 경로가 4개, 빠른 경로가 16개 프레임을 읽는다면 시간 표본 수의 비는 4다. 그렇다고 전체 계산량도 반드시 네 배인 것은 아니다. 채널 수와 층 구성, 특징 결합 연산이 함께 영향을 준다.
비교와 지연
동작 분류와 영상 안의 동작 위치 검출은 평가 대상이 다르다. 클립 길이와 표본 간격, 평가에서 읽는 클립 수도 맞춰 비교한다. 미래 프레임을 포함하는 클립의 정확도만으로 실시간 입력에서의 반응 지연을 판단할 수는 없다.
관련 문서
PoseC3D / ST-GCN / 광류 / 합성곱 신경망 / HRNet / MotionBERT