가중치 공유의 성능 차이
공유모형에서 가중치를 상속한 부분망은 같은 구조를 독립 학습한 경우와 성능이 다를 수 있다. 이 차이가 크면 구조를 선택한 뒤에도 다시 학습하는 비용이 발생한다.
구조에 따른 전문가 혼합
연구는 전문가 혼합으로 공유모형의 표현력을 확대한다. 구조 기반 라우팅을 사용해 부분망들이 가중치를 간접적으로 공유하고 경사 기반 학습으로 구조별 가중치 구성을 조정한다.
재학습 부담의 평가
빠른 기계번역 모형 탐색에서 지연시간과 번역 품질의 절충을 평가했다. 또한 여러 크기의 과제 비의존 BERT 모형을 찾는 설정으로 메모리 효율과 성능을 조사했다.
관련 문서
HAT 하드웨어 인지 트랜스포머 / NAS-BERT / AutoTinyBERT / DynaBERT / AutoFormer / FairNAS