폭을 줄인 언어 모형
MobileBERT는 단순히 층을 적게 쌓기보다 BERT-Large의 폭을 줄인 형태와 병목 구조를 사용한다. 자기 어텐션과 순방향 신경망 사이의 용량 배분도 함께 설계한다.
교사 모형의 별도 설계
먼저 역병목 구조를 넣은 BERT-Large 교사를 학습한다. 이후 교사에서 MobileBERT로 지식을 전달해 작은 구조를 훈련한다.
과제별 미세조정과 평가
사전학습된 모형은 미세조정을 거쳐 여러 후속 과제에 적용한다. 연구는 GLUE와 SQuAD에서 언어 성능을 평가하고 Pixel 4의 지연시간으로 모바일 실행을 조사했다.
관련 문서
AutoTinyBERT / NAS-BERT / DynaBERT / SqueezeBERT / Lite Transformer / HAT 하드웨어 인지 트랜스포머