과제별 압축 이전의 증류
특정 과제를 위한 작은 모형만 만드는 대신 사전학습부터 작은 범용 모형을 훈련한다. 이후 여러 자연어 처리 과제에 미세조정할 수 있는 기반을 얻는 것이 목적이다.
세 손실의 결합
언어 모형 학습과 교사의 지식 전달 및 표현 간 코사인 거리를 함께 사용한다. 이를 통해 큰 모형이 사전학습에서 얻은 성질을 작은 모형에 전달한다.
작은 모형의 활용 평가
연구는 작은 모형의 언어 성능과 사전학습 및 추론 효율을 비교했다. 또한 기기 내 계산의 개념 검증과 비교 실험으로 자원이 제한된 환경에서의 활용을 조사했다.
관련 문서
TinyBERT / MobileBERT / AutoTinyBERT / NAS-BERT / DynaBERT / SqueezeBERT