장면보다 순서가 중요한 경우
문이 닫힌 장면과 열린 장면이 모두 있어도 여는 동작과 닫는 동작은 시간 순서가 다르다. TRN은 여러 프레임의 관계를 통해 이런 변화를 학습한다. 각각의 프레임을 독립적으로 분류한 결과만으로는 부족할 수 있는 작업이다.
여러 시간 규모의 관계
짧은 관계와 더 넓은 시간 관계를 함께 처리하는 모듈을 합성곱망과 결합한다. 희소 표본으로도 프레임 사이의 변화를 활용하는 것이 목적이다. 희소하게 고른 프레임에서 보지 못한 모든 중간 상태를 직접 관측한 것과 같지는 않다.
순서를 잃는 집계의 예
설명용으로 값의 시퀀스 (1, 2, 3)과 (3, 2, 1)은 평균이 모두 2다. 그러나 연속 차이는 각각 (1, 1)과 (−1, −1)로 반대다. 순서를 무시한 집계가 잃을 수 있는 정보를 보여주며 TRN의 실제 관계 함수 계산식은 아니다.
관계와 의미의 평가
모델이 이용한 시간 관계가 행동의 원인이나 사람의 의도를 입증하는 것은 아니다. 외형이 비슷하고 순서만 다른 동작, 표본 간격이 바뀌는 조건을 나누어 확인한다. 시간 관계의 정확도와 전체 영상 분류 성능을 구분하고 읽은 프레임 수에 따른 비용도 비교한다.
관련 문서
TSN 동작 인식 / TSM 시간 이동 모듈 / SlowFast / TimeSformer / ViViT / 비국소 신경망