이른 출구의 성능 문제
중간 층에서 추론을 끝내면 비용을 줄일 수 있지만 이른 출구의 성능이 뒤쪽 출구보다 낮을 수 있다. RomeBERT는 이런 다중 출구 모형의 학습 불균형에 초점을 둔다.
정규화된 자기 증류
경사 정규화를 결합한 자기 증류로 여러 출구의 성능을 학습한다. 단순히 종료 임계값을 바꾸는 것이 아니라 출구들이 제공하는 예측의 품질을 개선하려는 구성이다.
본체와 여러 출구의 공동 학습
BERT 본체와 여러 출구를 한 단계에서 함께 훈련한다. 연구는 두 단계가 필요한 DeeBERT와 학습 구성을 비교하고 GLUE 자료에서 효율과 성능을 평가했다.
관련 문서
DeeBERT / FastBERT / 예측 안정성 기반 조기 종료 / LayerDrop / TinyBERT / MiniLM과 MiniLMv2