효율 비교의 공통 기준
정확도와 달리 효율은 연구마다 측정 기준이 달라 직접 비교하기 어렵다. ELUE는 여러 언어 이해 과제에서 성능과 비용을 함께 나타내는 평가와 공개 순위 체계를 제안했다.
파레토 경계로 비교하기
한 측면을 개선하려면 다른 측면을 희생해야 하는 선택들의 경계를 파레토 경계로 나타낸다. 평가 체계는 이를 통해 새 방법이 기존 절충 관계를 얼마나 개선하는지 살피려 한다.
여러 층에서 출력하는 기준 모형
ElasticBERT는 어느 층에서든 출력을 얻는 정적 실행과 동적 실행을 지원하는 기준 모형이다. 연구는 압축 모형 및 조기 종료 모형과 이를 비교해 효율 평가에서 사용할 강한 기준점을 구성했다.
관련 문서
DeeBERT / FastBERT / RomeBERT / LayerDrop / DynaBERT / 예측 안정성 기반 조기 종료