짧은 학습을 대신하는 평가
후보를 충분히 훈련하는 대신 짧게 학습하는 대리지표도 비용이 든다. 연구는 기존 지표가 최종 정확도의 순서를 얼마나 유지하는지 비교하고 더 가벼운 평가를 제안했다.
초기 가지치기의 신호 활용
가지치기 연구에 기반한 여러 대리지표로 한 미니배치에서 모형의 점수를 계산한다. 이름의 무비용은 계산이 전혀 없다는 의미가 아니라 전체 훈련보다 작은 평가 비용을 가리킨다.
탐색 알고리즘의 보완
무작위 탐색과 강화 학습 및 진화 탐색과 예측기 기반 탐색에 지표를 적용했다. 여러 NAS 자료에서 표본 효율과 최종 정확도 순위의 상관을 평가했다.
관련 문서
Zen-NAS / 훈련 전 활성 기반 구조 탐색 / nasgraph / NAS-Bench-101 / NAS-Bench-201 / FairNAS