입력과 출력 수의 분리
패치가 많아지면 트랜스포머의 실행 비용도 커진다. PatchMerger는 중간 블록 사이에서 토큰 수를 줄이며 입력 패치 수가 달라져도 정해진 수의 출력을 만들 수 있다.
학습한 질의로 표현 합치기
입력 패치를 키와 값으로 사용하고 출력 패치마다 고정된 학습 질의를 둔다. 입력 표현을 점수에 따라 여러 출력에 분배해 가중 결합하는 방식으로 토큰을 병합한다.
해상도를 바꾸는 미세조정
입력 토큰 수에 맞춰 병합 매개변수를 새로 만들 필요가 없어 해상도를 바꾸는 미세조정을 다룰 수 있다. 연구는 ViT와 시각 전문가 혼합 모형에서 병합 위치와 축소 정도 및 전이 성능을 조사했다.
관련 문서
TokenLearner / ToMe 토큰 병합 / 비전 트랜스포머의 Token Pooling / EViT 토큰 재구성 / ATS 적응적 토큰 샘플링 / DynamicViT