층을 지나며 토큰 줄이기
트랜스포머의 중간 층에서 중요도가 낮은 토큰을 점차 제외한다. LTP는 각 층에 임계값을 학습하고 어텐션 점수가 그보다 낮은 토큰을 제거한다.
고정 개수 선택과의 차이
임계값을 쓰면 입력에 따라 남는 토큰 수가 달라질 수 있다. 정해진 개수의 상위 토큰을 뽑는 연산을 피하면서 시퀀스 길이를 적응적으로 줄이는 것이 특징이다.
계산량과 장치 처리량
연구는 GLUE에서 정확도와 계산량을 비교하고 CPU와 GPU의 처리량도 측정했다. 입력 문장 길이가 달라질 때의 성능도 조사해 토큰 축소가 서로 다른 길이의 입력에 어떻게 작용하는지 평가했다.
관련 문서
TR-BERT / PoWER-BERT와 길이 적응 트랜스포머 / Funnel-Transformer / Lite Transformer / HW-NAS-Bench / ELUE와 ElasticBERT