자기 어텐션의 지식 전달
MiniLM은 교사의 마지막 트랜스포머 층에 있는 자기 어텐션을 학생이 모방하도록 학습한다. 질의와 키의 관계에서 얻는 어텐션 분포 외에 값 벡터 사이의 스케일 내적도 지식으로 사용한다.
학생 구조의 유연성
초기 연구는 중간 역할의 교사 보조 모형을 이용하는 구성도 조사했다. 작은 학생을 특정 후속 과제에만 맞추는 대신 다양한 과제에 활용할 언어 모형을 압축하는 것이 목적이다.
관계 증류로의 일반화
MiniLMv2는 질의와 키 및 값 벡터 쌍의 관계를 이용한다. 교사와 학생의 어텐션 헤드 수를 같게 맞출 필요를 없애고 교사의 마지막 층만 고집하지 않는 층 선택 전략도 분석했다. 단일 언어와 다국어 교사들의 압축으로 평가했다.
관련 문서
TinyBERT / DistilBERT / MobileBERT / AutoTinyBERT / NAS-BERT / DynaBERT