전체 길이를 유지하는 중복
문장 전체를 하나의 벡터로 나타내는 과제에서도 모든 층에서 전체 토큰 길이를 유지하면 중복 계산이 생길 수 있다. 연구는 이 시퀀스 길이의 중복에 주목했다.
짧아진 은닉 상태의 활용
은닉 상태를 더 짧은 시퀀스로 압축해 계산량을 줄인다. 절약한 계산을 깊이나 폭을 늘리는 데 다시 사용해 표현 용량을 높이는 설계도 함께 다룬다.
토큰 수준의 예측 복원
사전학습처럼 토큰마다 예측이 필요한 경우에는 디코더로 각 토큰의 깊은 표현을 복원한다. 연구는 여러 시퀀스 수준 과제에서 계산량과 성능을 비교했으며 압축이 원래 정보의 완전한 보존을 뜻하지는 않는다.
관련 문서
Lite Transformer / HAT 하드웨어 인지 트랜스포머 / AutoTinyBERT / DynaBERT / NAS-BERT / NAS-Bench-NLP