세밀한 위치와 복잡한 특징
초기 층은 세밀한 위치 정보를 처리하고 깊은 층은 넓은 범위의 복잡한 특징을 표현하도록 구성한다. MViT는 이런 다중 스케일 계층을 트랜스포머에 도입한다. 모든 층에서 같은 토큰 해상도와 채널 수를 유지하는 구성과 차이가 있다.
해상도와 채널의 교환
공간 해상도를 줄이면 위치 수는 감소하지만 채널을 늘리면 위치당 특징은 풍부해진다. 두 변화는 함께 특징 크기와 계산에 영향을 준다. 다중 스케일이라는 말이 서로 다른 크기의 원본 영상을 항상 별도로 입력한다는 뜻은 아니다.
특징 크기의 예
설명용으로 16×16 위치에 채널이 32개라면 값은 8,192개다. 위치를 8×8로 줄이고 채널을 64개로 늘리면 4,096개다. 채널이 두 배가 되어도 값의 수는 절반이다. 실제 연산량에는 주의와 선형 변환 등 다른 요소가 포함된다.
영상과 이미지의 구분
시간축을 다루는 영상 인식 구성과 시간축을 제외하는 이미지 분류 구성은 입력 조건이 다르다. 정확도와 비용을 비교할 때 단계별 해상도, 클립 길이와 사전 학습 여부를 확인한다. 특징을 압축하는 과정에서 작은 물체나 빠른 움직임의 정보가 유지되는지도 평가 대상이다.
관련 문서
ViViT / TimeSformer / VideoMAE / SlowFast / X3D / 비전 트랜스포머