작은 학생에게 지식 전달
큰 사전학습 모형은 자원이 제한된 장치에서 실행 비용이 크다. TinyBERT는 트랜스포머에 맞춘 증류 방법으로 큰 교사 BERT의 지식을 작은 학생에게 전달한다.
일반 지식과 과제 지식
사전학습 단계의 증류로 일반적인 언어 정보를 배우고 과제별 학습 단계에서도 증류를 수행한다. 두 단계는 교사의 일반 영역 지식과 특정 과제 지식을 함께 활용하려는 구성이다.
크기에 따른 성능 비교
연구는 네 층과 여섯 층의 학생 모형을 GLUE에서 평가했다. 교사 및 다른 증류 모형과 정확도와 크기 및 추론 비용을 비교하며 구조의 크기에 따른 절충을 조사했다.
관련 문서
MobileBERT / AutoTinyBERT / NAS-BERT / DynaBERT / SqueezeBERT / Lite Transformer