층 단위로 학습하기
큰 트랜스포머는 많은 계산을 요구하고 과적합 문제도 생길 수 있다. LayerDrop은 학습 과정에서 층에 구조적 드롭아웃을 적용해 일부 층이 빠진 상태도 다루도록 한다.
필요한 깊이의 부분망 선택
학습된 큰 모형에서 깊이가 다른 부분망을 선택해 추가 미세조정 없이 사용하는 방식을 조사했다. 한 가지 깊이로만 실행하는 모형보다 여러 효율 요구에 대응하는 것이 목적이다.
여러 언어 과제의 평가
연구는 번역과 언어 모형 및 요약과 질의응답 등에서 방법을 평가했다. 작은 BERT 계열 모형을 처음부터 학습하거나 증류하는 방식과도 비교해 깊이 축소의 활용을 살폈다.
관련 문서
DynaBERT / BERT-of-Theseus / DistilBERT / TinyBERT / Funnel-Transformer / HAT 하드웨어 인지 트랜스포머