여러 폭을 공유하는 모형
US-Net은 미리 정한 폭의 집합을 넘어 임의의 실행 폭을 지원하도록 가변 폭 신경망을 확장한다. 배치 정규화 유무와 관계없이 적용하는 학습과 샌드위치 규칙 및 제자리 증류를 제안했다.
한 모형으로 채널 평가
AutoSlim은 단일 가변 폭 신경망을 학습해 여러 채널 구성의 정확도를 근사한다. 많은 구조를 각각 훈련하는 대신 공유 모형을 반복 평가하는 방식으로 탐색 비용을 줄인다.
탐욕적인 폭 축소
정확도 감소가 가장 작은 층을 탐욕적으로 줄이는 절차를 반복한다. 연산량과 지연 시간 및 메모리나 모형 크기 제약별 채널 구성을 얻고, ImageNet의 여러 기반 모형에서 평가했다.
관련 문서
BigNAS / AttentiveNAS / Once-for-All / ProxylessNAS / MobileNet / RepViT