두 크기의 특징
서로 다른 크기의 패치에서 특징을 추출하는 분기들을 둔다. 작은 패치는 더 세밀한 공간 단위를 제공하지만 토큰 수가 많아진다. 두 분기의 깊이와 채널 폭을 다르게 구성해 계산 비용을 배분할 수 있다.
분류 토큰을 통한 교환
한 분기의 분류 토큰이 다른 분기의 패치 특징을 참조하는 교차 주의를 사용한다. 모든 분기의 모든 패치 토큰을 합쳐 완전한 자기 주의를 계산하는 융합과 구분된다. 분류 토큰에 모인 정보는 이후 해당 분기에서 활용된다.
패치 수의 독립 예제
한 변 120인 이미지를 10×10 패치로 나누면 토큰은 144개이고 20×20 패치로 나누면 36개다. 분류 토큰 하나가 반대쪽의 패치 36개와 자신을 참조하는 경우 점수는 37개다. 전체 모형에는 각 분기의 자기 주의 등 다른 계산도 남는다.
선형 비용의 범위
단일 질의로 참조하는 융합의 점수 수는 참조 토큰 수에 비례한다. 이 성질을 모형 전체가 입력 크기에 대해 항상 선형이라는 뜻으로 확대하면 안 된다. 패치 크기와 입력 해상도, 분기별 구조를 함께 보고 비용을 평가한다.
관련 문서
Transformer in Transformer / T2T-ViT / CaiT / DeiT / 자기 주의 / 트랜스포머