본체와 분기 분류기
트랜스포머 블록의 출력에 작은 학생 분류기를 붙이고 마지막 출력에는 교사 분류기를 둔다. 중간 분류기는 간단한 입력을 더 이른 층에서 판정하는 출구로 사용한다.
같은 모형 안의 자기 증류
본체와 교사 분류기를 과제에 미세조정한 뒤 그 출력을 학생 분류기들의 학습 목표로 사용한다. 교사와 학생의 출력이 같은 모형 안에 있으며 학생을 학습할 때 본체는 고정한다.
입력에 따라 계산량 정하기
각 층에서 학생 출력의 불확실성을 측정한다. 임계값보다 낮으면 결과를 내보내고 높으면 다음 층으로 진행한다. 연구는 영어와 중국어 자료에서 여러 임계값의 정확도와 계산 비용을 비교했다.
관련 문서
DeeBERT / LayerDrop / DynaBERT / TinyBERT / DistilBERT / MiniLM과 MiniLMv2