층마다 분류 출구 두기
각 트랜스포머 층 뒤에 분류기를 추가한다. 입력이 한 층을 지날 때 해당 출구의 예측을 확인하고 종료 여부를 결정하므로 모든 입력이 같은 수의 층을 거칠 필요가 없다.
원래 마지막 출구의 보존
먼저 원래 BERT처럼 본체와 마지막 분류기를 미세조정한다. 이후 이 매개변수들을 고정하고 중간 출구들을 학습해 마지막 출력의 품질을 유지하도록 구성한다.
엔트로피와 종료 임계값
출력 분포의 엔트로피를 임계값과 비교해 일찍 종료할지 다음 층으로 갈지 정한다. 임계값은 속도와 정확도의 절충을 조절하며 연구는 BERT와 RoBERTa의 GLUE 분류 과제에서 이를 평가했다.
관련 문서
LayerDrop / DynaBERT / DistilBERT / TinyBERT / MobileBERT / BERT-of-Theseus