입력 전체가 아닌 토큰별 조절
한 입력의 모든 토큰을 같은 깊이까지 처리하는 대신 각 토큰의 실행 층 수를 달리한다. 불필요한 후속 계산을 줄이면서 필요한 토큰은 더 깊은 표현을 얻도록 하는 접근이다.
여러 단계의 선택 문제
추론 중 어떤 토큰을 계속 처리할지 정하는 과정을 다단계 선택 문제로 구성한다. 강화학습은 이 선택 전략을 자동으로 학습하는 데 사용된다.
긴 텍스트에서의 활용
연구는 여러 후속 자연어 처리 과제에서 계산량과 성능을 비교했다. 긴 텍스트 과제에서는 토큰별 깊이 조절이 자기 어텐션 계산을 줄이는 효과도 조사했다.
관련 문서
PoWER-BERT와 길이 적응 트랜스포머 / Funnel-Transformer / DeeBERT / FastBERT / LayerDrop / DynaBERT