얕은 출구의 두 문제
강한 가속을 위해 이른 층에서 자주 종료하면 표현에 고수준 의미 정보가 부족할 수 있다. 연구는 내부 분류기의 종료 판단이 부정확해 잘못된 예측을 일찍 내보내는 문제도 분석했다.
크기가 다른 완전한 모형
캐스케이드 안에서 입력에 맞는 크기의 완전한 모형을 동적으로 선택한다. 각 모형의 전체 표현을 예측에 사용한다는 점에서 단일 모형의 중간 출구와 구성이 다르다.
난도에 맞는 확률 보정
입력의 실제 난도를 반영하는 클래스 확률을 출력하도록 학습 목표를 설계한다. 이를 통해 캐스케이드의 선택 판단을 개선하려 하며 여섯 분류 과제에서 정확도와 효율을 평가했다.
관련 문서
DeeBERT / FastBERT / RomeBERT / 예측 안정성 기반 조기 종료 / ELUE와 ElasticBERT / DynaBERT