토큰을 다시 구성하기
초기 토큰들을 처리한 뒤 공간 격자로 재배치한다. 겹치는 이웃 영역을 다시 나누고 결합해 다음 단계의 토큰을 만든다. 반복 과정에서 주변 토큰의 국소 정보를 반영하고 시퀀스 길이를 줄일 수 있다.
겹치는 분할의 의미
길이 7인 일차원 배열을 길이 3의 창으로 보폭 2, 패딩 없이 나누면 시작 위치는 0, 2, 4다. 인접 창은 원소 하나를 공유한다. 이는 겹치는 분할을 설명하는 독립 예제로, 실제 모형의 이미지 크기나 단계별 설정을 지정한 것은 아니다.
깊고 좁은 구조
토큰 생성 이후의 전역 관계는 트랜스포머 백본이 처리한다. T2T-ViT는 계산 예산 안에서 층을 깊게 하고 채널 폭을 줄이는 설계를 탐구한다. 채널 감소는 표현 차원을 바꾸고 층 증가는 순차 계산을 늘리므로 둘을 같은 변화로 볼 수 없다.
효과의 확인
이웃 토큰을 결합하는 것은 이미지 축소만 하는 처리와 다르다. 결합 전 특징 처리와 토큰 생성 방식이 함께 영향을 준다. 국소 구조의 반영이 모든 데이터에서 더 높은 정확도를 보장하지는 않으며 입력 해상도와 학습 방식, 모형 크기를 맞춰 평가한다.
관련 문서
Transformer in Transformer / DeiT / ViT의 합성곱 스템 / 트랜스포머 / 자기 주의 / 이미지 분류