짧은 장면의 한계
동작의 일부 순간만 보면 전체 행동을 구분하기 어려울 수 있다. TSN은 영상의 여러 시간 구간에서 관측을 골라 전체 구간의 정보를 학습에 반영한다. 모든 프레임을 촘촘하게 처리하는 것과는 계산 및 관찰 방식이 다르다.
구간과 영상 수준 학습
시간 구간에서 얻은 예측을 영상 단위 결과에 연결하고 영상의 동작 라벨로 학습한다. 각 프레임의 정확한 동작 경계를 정답으로 제공하는 방식과 구분된다. 영상 분류에 사용하는 구간 분할이 실제 동작의 시작과 끝을 찾아냈다는 뜻은 아니다.
표본 범위의 예
설명용으로 12초 영상을 길이가 같은 세 구간으로 나누면 각 구간은 4초다. 구간마다 한 관측을 고르면 영상 전반을 살피지만 관측 사이의 짧은 사건을 놓칠 수 있다. 실제 입력 조각의 길이와 표본 규칙은 별도 설정이다.
전체 분류와 시간 순서
여러 시점을 읽는다고 모든 세밀한 시간 관계를 자동으로 구분하는 것은 아니다. 합치는 연산과 입력 정보가 무엇인지 함께 확인해야 한다. 비교에서는 영상 길이, 구간 수와 평가 표본 수를 맞추고 학습 데이터가 적은 조건의 정규화 및 사전 학습 영향도 나누어 살핀다.
관련 문서
TSM 시간 이동 모듈 / I3D / SlowFast / TimeSformer / X3D / 합성곱 신경망