각 층의 내부 분류기
사전학습 언어 모형의 각 층에 내부 분류기를 연결한다. 입력이 층을 지날 때 예측 결과를 얻고 앞선 층들의 결과와 비교해 종료 여부를 판단한다.
기다릴 횟수의 설정
중간 분류기들의 예측이 미리 정한 횟수 동안 변하지 않으면 뒤쪽 계산을 생략한다. 적은 층으로 충분한 입력에서는 계산을 줄이면서도 한 번의 예측만으로 성급히 끝내는 방식을 피하려 한다.
효율과 강건성의 평가
연구는 ALBERT에서 정확도와 속도 및 강건성을 평가했다. 여러 분류기의 정보를 사용해 불필요한 추가 계산의 영향을 줄일 수 있는지 조사한 결과이며 모든 입력에서 더 이른 종료가 정확하다는 뜻은 아니다.
관련 문서
DeeBERT / FastBERT / LayerDrop / DynaBERT / BERT의 Patient Knowledge Distillation / DistilBERT