모든 이미지에 같은 수를 쓰지 않기
모든 입력 이미지에 최적인 토큰 수가 하나로 정해져 있지는 않다. ATS는 토큰에 점수를 주고 중요한 토큰을 적응적으로 선택해 이미지별 처리량을 달리한다.
기존 모형에 추가하기
트랜스포머 블록 안에 모듈을 넣어 사용할 수 있다. 별도 매개변수가 없어 사전학습 모형에 추가 학습 없이 적용하는 방식과 미분 가능한 설계를 활용해 함께 학습하는 방식을 모두 다룬다.
이미지와 영상의 평가
여러 비전 트랜스포머에 적용해 이미지와 영상 분류에서 평가했다. ImageNet과 Kinetics 자료에서 계산량과 정확도를 함께 비교하며 입력별 토큰 수를 조절하는 효과를 조사했다.
관련 문서
A-ViT 적응적 토큰 종료 / DynamicViT / EViT 토큰 재구성 / ToMe 토큰 병합 / TokenLearner / LTP 토큰 가지치기