장치에 맞는 설계 공간
인코더와 디코더 사이의 어텐션 연결 및 서로 다른 층 구성을 허용하는 설계 공간을 만든다. 모든 층을 같은 형태로 반복하는 설계에만 한정하지 않고 후보를 구성한다.
공유모형에서 부분 모형으로
탐색 공간의 후보들을 포괄하는 SuperTransformer를 학습한다. 그 안의 SubTransformer들이 가중치를 공유하도록 구성해 여러 후보를 효율적으로 평가하는 기반으로 사용한다.
지연시간 제약 아래의 탐색
진화 탐색으로 목표 장치의 지연시간 조건에 맞는 부분 모형을 고른다. 네 기계번역 과제에서 CPU와 GPU 및 사물인터넷 장치에 맞춘 구조를 평가했으며 효율은 해당 장치와 실행 조건에 따라 비교한다.
관련 문서
HW-NAS-Bench / NAS-Bench-NLP / AutoFormer / BigNAS / ProxylessNAS / NAS-Bench-Suite