어텐션 외의 계산도 줄이기
토큰 수를 줄이면 어텐션뿐 아니라 토큰별 완전연결층의 계산도 낮출 수 있다. 연구는 이미지와 중간 토큰 표현의 중복을 활용해 전체 층의 비용을 줄이는 접근을 제안했다.
평활화와 표현의 중복
일정한 가정 아래 소프트맥스 어텐션이 고차원 저역통과 필터처럼 작용함을 분석했다. 평활화된 출력의 중복을 줄이면서 정확도와 계산 비용의 절충을 개선하려 한다.
재구성 오차를 고려한 축소
다운샘플링으로 생기는 재구성 오차를 작게 만드는 문제를 비용 효율적인 군집화로 푼다. 연구는 다른 축소 방식과 비교하고 DeiT의 이미지 분류에서 계산량과 성능을 평가했다.
관련 문서
ToMe 토큰 병합 / EViT 토큰 재구성 / TokenLearner / ATS 적응적 토큰 샘플링 / DynamicViT / Funnel-Transformer