문맥 범위에 따른 역할 분담
일부 헤드는 합성곱을 이용해 가까운 문맥을 처리하고 다른 헤드는 어텐션으로 먼 거리 관계를 다룬다. 모든 정보 범위를 같은 연산으로 처리하기보다 역할을 나누는 것이 핵심이다.
세 가지 언어 과제
연구는 기계번역과 추상적 요약 및 언어 모형 과제에서 이 구성을 평가했다. 계산량 제약을 둔 비교를 통해 구조 자체의 효율과 언어 성능을 함께 조사했다.
구조 설계와 추가 압축
가지치기와 양자화를 함께 사용하는 추가 압축도 실험했다. 구조의 역할 분담으로 얻는 효과와 이러한 후속 압축의 효과를 구분해야 하며, 특정 실험의 축소율을 모든 배치 환경에 그대로 적용할 수는 없다.
관련 문서
HAT 하드웨어 인지 트랜스포머 / AutoTinyBERT / DynaBERT / NAS-BERT / HW-NAS-Bench / NAS-Bench-NLP