초기 상태에서의 성능 신호
구조 탐색은 많은 후보를 학습해 정확도를 확인하는 비용이 크다. 연구는 훈련하지 않은 신경망의 활성 패턴에서 최종 성능에 유용한 신호를 얻을 수 있는지 조사했다.
자료 사이 활성의 겹침
서로 다른 자료가 초기 신경망을 통과할 때 활성의 겹침을 측정한다. 이를 평가값으로 사용해 후보를 고르는 간단한 탐색 알고리즘을 구성한다.
벤치마크와 탐색의 결합
NAS-Bench-101과 NAS-Bench-201 및 NATS-Bench와 NDS에서 평가했다. 더 비싼 정규화 진화 탐색과 결합하는 설정도 조사했으며, 탐색 중 훈련하지 않는 것과 최종 모형의 학습은 구분한다.
관련 문서
nasgraph / FairNAS / SPOS 구조 탐색 / NAS-Bench-101 / NAS-Bench-201 / BigNAS