전역 참조의 중복
모든 헤드가 전체 시퀀스를 조회하더라도 일부 헤드는 주로 가까운 관계를 학습할 수 있다. 연구는 이러한 헤드까지 전역 어텐션으로 처리하는 계산 중복에 주목했다.
지역 의존성의 직접 처리
구간 기반 동적 합성곱으로 지역 문맥을 직접 모델링한다. 이 합성곱 헤드와 나머지 자기 어텐션 헤드를 결합해 혼합 어텐션 블록을 구성한다.
언어 모형의 비용과 성능
혼합 블록을 BERT에 적용한 모형을 여러 후속 과제에서 평가했다. 연구는 학습 비용과 매개변수 수를 언어 성능과 함께 비교하며, 합성곱만 사용하는 구조와는 구분된다.
관련 문서
Lite Transformer / SqueezeBERT / MobileBERT / Funnel-Transformer / AutoTinyBERT / DynaBERT