크기와 과제의 두 요구
배치 장치마다 허용하는 메모리와 지연시간이 다르므로 압축 결과도 한 크기에만 한정하기 어렵다. 또한 특정 과제만을 위해 압축하면 다른 과제에 활용할 때 다시 개발할 부담이 생긴다.
자기지도 과제로 공유모형 학습
다양한 구조를 포함하는 공유모형을 마스크 언어 모형 같은 사전학습 과제로 훈련한다. 압축 과정이 특정 후속 과제에 종속되지 않도록 구성해 여러 과제에서 사용할 후보를 얻는다.
탐색 비용을 줄이는 구성
큰 공유모형의 학습 비용에 대응해 블록별 탐색과 탐색 공간 가지치기 및 성능 근사를 사용했다. GLUE와 SQuAD에서 크기와 지연시간 요구에 따른 압축 모형을 평가했다.
관련 문서
AutoTinyBERT / HAT 하드웨어 인지 트랜스포머 / NAS-Bench-NLP / NAS-Bench-Suite / BigNAS / SPOS 구조 탐색