프레임 사이에 정보 옮기기
각 프레임을 독립적으로 처리하면 인접 시점의 관계를 다루기 어렵다. TSM은 일부 특징 채널을 시간 방향으로 옮겨 같은 시점의 연산에 다른 프레임의 정보가 들어오게 한다. 원본 영상의 물체를 추적해 그 위치를 이동시키는 연산은 아니다.
채널 이동의 예
설명용으로 시점 t의 특징이 (aₜ, bₜ, cₜ)라고 하자. 일부를 옮겨 (aₜ₋₁, bₜ, cₜ₊₁) 형태로 묶으면 세 시점의 정보가 함께 들어온다. 실제 모델의 채널 비율이나 경계 처리를 지정한 식은 아니며 미래 시점이 필요한 예다.
산술 연산과 실행 시간
이동 자체에는 새 학습 가중치가 필요하지 않고 산술 계산을 추가하지 않을 수 있다. 그렇다고 실행 비용이 문자 그대로 0이라는 뜻은 아니다. 특징을 읽고 옮기는 메모리 접근, 배치와 구현에 따른 지연은 실제 기기에서 확인해야 한다.
온라인 구성의 구분
미래 프레임을 사용하는 양방향 구성과 이미 도착한 정보만 사용하는 온라인 구성은 조건이 다르다. 모듈을 넣었다는 사실만으로 실시간 인식이 보장되지는 않는다. 분류 정확도와 프레임당 지연, 입력 구간의 길이 및 시간 이동 방향을 함께 확인한다.