패치마다 다른 기여도
이미지의 모든 패치가 분류에 같은 정도로 도움이 되는 것은 아니다. EViT는 분류 토큰의 어텐션을 이용해 더 주목할 이미지 토큰을 찾는다.
제거 대신 융합하기
주목받는 토큰은 유지하고 그렇지 않은 토큰은 융합한다. 이 재구성은 다중 헤드 자기 어텐션과 순방향 신경망 사이에서 이루어져 뒤쪽 연산의 토큰 수를 줄인다.
효율과 해상도의 두 활용
같은 입력 토큰 수에서는 계산 비용을 낮추는 용도로 사용할 수 있다. 반대로 비슷한 계산 예산에서 더 높은 해상도의 이미지 토큰을 처리하는 구성도 조사했다. 연구의 재구성 방식은 추가 매개변수를 도입하지 않는다.
관련 문서
DynamicViT / LTP 토큰 가지치기 / TR-BERT / AutoFormer / ViTAS 구조 탐색 / Funnel-Transformer