여러 중간 표현에서 배우기
큰 언어 모형의 마지막 출력만으로는 중간 층에 담긴 정보를 직접 전달하기 어렵다. 이 방법은 얕고 가벼운 학생이 교사의 여러 중간 층을 모방하도록 훈련한다.
두 층 선택 전략
PKD-Last는 교사의 마지막 여러 층에서 배우는 방식이다. PKD-Skip은 일정 간격을 두고 선택한 층들에서 배운다. 두 방식 모두 다중 층 정보를 학생에게 전달하지만 교사 층을 고르는 규칙이 다르다.
압축 모형의 과제 평가
연구는 여러 자연어 처리 과제에서 작은 학생의 성능과 훈련 효율을 비교했다. 여기서 핵심은 학생의 깊이를 줄이는 것뿐 아니라 교사의 어떤 중간 정보를 대응시켜 학습하느냐에 있다.
관련 문서
TinyBERT / DistilBERT / MiniLM과 MiniLMv2 / MobileBERT / DynaBERT / NAS-BERT