입력에 맞게 토큰 선택하기
이미지 인식의 최종 예측에 모든 토큰이 같은 정도로 기여하지 않을 수 있다. DynamicViT는 현재 특징에서 중요도 점수를 예측하고 층별로 중복 토큰을 점차 줄인다.
마스킹으로 선택 모듈 학습
토큰이 다른 토큰과 상호작용하지 못하도록 하는 어텐션 마스킹을 사용한다. 이를 통해 예측 모듈을 종단간 학습하고 토큰 제거를 최적화하는 구성을 제시했다.
인식 성능과 처리량
연구는 여러 비전 트랜스포머의 ImageNet 평가에서 계산량과 처리량 및 인식 성능의 절충을 조사했다. 토큰 중요도에 따라 계산을 배분하는 접근이며 고정된 공간 격자를 동일하게 처리하는 방식과 구분된다.
관련 문서
TR-BERT / LTP 토큰 가지치기 / AutoFormer / ViTAS 구조 탐색 / BossNAS / HW-NAS-Bench