고정 패치 분할의 대안
시각 트랜스포머는 보통 입력을 패치로 나누어 많은 토큰을 처리한다. TokenLearner는 중요한 시각 토큰을 입력에 맞게 학습해 얻는 방식을 제안했다.
소수 토큰 사이의 관계
선택된 소수 표현 사이에서 쌍별 어텐션을 계산한다. 이미지에서는 공간 내용을 다루고 영상에서는 더 긴 시간 범위의 관계를 처리하는 데 활용한다.
시각 인식 과제의 평가
연구는 ImageNet과 여러 영상 인식 자료에서 계산량과 성능을 평가했다. 토큰이 적응적으로 구성된다는 점이 핵심이며 단순히 고정 격자의 일부를 잘라내는 방식과 구분된다.
관련 문서
ToMe 토큰 병합 / EViT 토큰 재구성 / DynamicViT / AutoFormer / ViTAS 구조 탐색 / BossNAS