표현력을 대리하는 점수
학습 후 정확도를 예측하는 별도 모형 대신 신경망의 표현력을 나타내는 지수를 사용한다. 원 연구는 Zen-Score가 모형 정확도와 양의 상관을 보이는지 조사했다.
초기 모형의 전방향 계산
점수는 무작위로 초기화한 신경망의 몇 차례 전방향 계산으로 구한다. 후보 매개변수를 훈련하지 않고 자료 없이 구조를 평가하는 방식이다.
자원 제약 아래의 탐색
정해진 추론 예산에서 Zen-Score를 최대화하는 구조를 찾는다. 서버와 모바일 GPU 환경의 여러 모형과 ImageNet 정확도를 평가해 구조 탐색 비용과 실행 효율을 함께 다뤘다.
관련 문서
경량 NAS의 무훈련 대리지표 / nasgraph / 훈련 전 활성 기반 구조 탐색 / AttentiveNAS / BigNAS / ProxylessNAS