작은 모형의 구조 선택
사전학습 언어 모형은 은닉 차원과 중간 층 차원 같은 구조 매개변수의 기본 설정을 따르는 경우가 많다. 작은 모형에서는 자원 제약에 맞춰 이 설정을 바꿀 여지가 있다.
원샷 구조 탐색
연구는 원샷 학습 기법과 탐색 공간을 설계해 구조 매개변수를 자동으로 찾는다. 서로 다른 지연시간 조건에 대응하는 작은 언어 모형을 개발하는 것이 목적이다.
탐색 결과의 언어 평가
GLUE와 SQuAD에서 찾은 모형을 평가하고 탐색 기반 방법 및 증류 기반 방법과 비교했다. 또한 이미 얻은 구조들을 활용해 여러 작은 모형을 개발하는 절차의 효율을 조사했다.
관련 문서
HAT 하드웨어 인지 트랜스포머 / NAS-Bench-NLP / NAS-Bench-Suite / AutoFormer / KNAS / Zero-Cost-PT