여러 장치에 맞는 한 모형
장치마다 허용되는 계산 비용이 달라 여러 크기의 번역 모형을 따로 학습하면 관리 부담이 커진다. 이 연구는 같은 매개변수를 공유하면서 실행 깊이를 바꾸는 모형을 다룬다.
지원할 깊이 공간의 제한
모든 가능한 깊이를 허용하기보다 지원할 깊이 조합을 미리 줄인다. 각 조합의 부분망을 결정적으로 배정해 학습과 추론에서 같은 부분망이 사용되도록 한다.
층의 참여를 고르게 배분하기
부분망 배정에서는 각 층이 맡는 과제 수의 균형과 선택한 층 사이의 거리를 고려한다. 연구는 여러 깊이 조합의 번역을 평가하고 개별 학습 및 LayerDrop과 비교했다.
관련 문서
LayerDrop / DynaBERT / HAT 하드웨어 인지 트랜스포머 / BERT-of-Theseus / Mixture-of-Supernets / Lite Transformer