고정 크기 압축을 넘어서기
BERT를 한 가지 작은 크기로 압축하면 서로 다른 성능의 에지 장치에 모두 맞추기 어렵다. DynaBERT는 학습된 모형에서 폭과 깊이를 바꾸어 여러 효율 조건에 대응하려 한다.
폭을 먼저 학습하기
먼저 폭을 조절할 수 있는 BERT를 학습하고 이어 폭과 깊이를 함께 조절하도록 훈련한다. 전체 크기 모형에서 작은 부분망으로 지식을 전달하는 증류를 사용한다.
중요한 구성 요소의 공유
네트워크 재배선으로 더 중요한 어텐션 헤드와 뉴런이 더 많은 부분망에서 공유되도록 한다. 연구는 BERT와 RoBERTa 설정에서 다양한 효율 제약에 따른 성능을 비교했다.
관련 문서
NAS-BERT / AutoTinyBERT / HAT 하드웨어 인지 트랜스포머 / US-Net과 AutoSlim / BigNAS / AttentiveNAS