비슷한 표현을 합치기
ToMe는 토큰을 단순히 버리기보다 유사한 토큰을 찾아 결합한다. 가벼운 매칭 알고리즘으로 토큰 수를 점차 줄여 뒤쪽 트랜스포머의 계산을 낮추려 한다.
기존 모형과 학습 중 적용
이미 학습된 모형에 추가 학습 없이 적용하는 방식을 평가했다. 또한 학습 과정에 병합을 포함해 학습 속도와 병합 후 정확도의 관계를 조사했다.
이미지와 영상 및 오디오
연구는 이미지와 영상 및 오디오에서 처리량과 성능을 비교했다. 영상에서는 서로 다른 프레임의 관련 부분이 병합되는 양상도 조사하며, 토큰 제거와 병합의 정보 처리 차이에 주목했다.
관련 문서
EViT 토큰 재구성 / DynamicViT / TokenLearner / LTP 토큰 가지치기 / TR-BERT / AutoFormer