영상 전체 대신 국소 영역
시간축이 있는 영상은 정지 이미지보다 토큰 수가 많아지기 쉽다. Video Swin Transformer는 작은 시공간 창 안에서 주의를 계산해 국소성이라는 설계 가정을 사용한다. 한 층에서 영상 전체의 모든 토큰 쌍을 직접 연결하는 방식과 다르다.
창의 경계를 바꾸기
같은 창 분할을 계속 유지하면 경계 양쪽의 정보가 직접 만나기 어렵다. 모델은 연속 블록에서 창 분할을 이동해 이전에 나뉜 영역 사이의 관계를 학습한다. 이동은 입력 영상 속 물체의 실제 움직임을 추정하는 광류 계산과는 다르다.
국소 쌍의 수 예
설명용으로 토큰 96개를 12개씩 여덟 창에 나누면 창 안의 순서 있는 쌍은 8×12²=1,152개다. 전체 쌍 96²=9,216개보다 적다. 이는 주의 관계만의 계산이며 이동 처리와 채널 변환을 포함한 실제 총 연산량의 비는 아니다.
국소성과 관찰 범위
여러 블록을 거치며 정보를 교환하더라도 창 크기와 입력 구간은 표현 범위에 영향을 준다. 이미지 사전 학습을 활용한 조건도 성능 비교에 포함해야 한다. 정확도와 함께 프레임 수, 해상도, 평가 클립 수를 맞추고 긴 시간의 의존 관계가 필요한 동작을 따로 확인한다.
관련 문서
TimeSformer / ViViT / MViT / SlowFast / X3D / 광류