탐색 절차를 나누어 보기
신경망 구조 탐색은 후보를 실제로 학습해 평가하는 비용이 크다. 성능 예측기를 쓰면 탐색을 안내할 수 있지만 전체 알고리즘의 결과만 비교해서는 어느 구성 요소가 차이를 만드는지 알기 어렵다.
다섯 구성 요소
연구는 구조 부호화와 신경 예측기, 불확실성 보정, 획득 함수와 그 최적화 전략을 나누어 비교했다. 또한 신경망의 경로를 이용한 부호화를 제안하고 다른 표현 방식과 확장성을 분석했다.
예측과 후보 선택의 결합
이 분석을 바탕으로 예측 모형과 후보 선택 절차를 결합한 BANANAS를 구성했다. 탐색 공간에서의 실험 결과는 각 요소의 조합을 평가한 것으로, 예측기 하나의 성능만으로 전체 탐색 결과를 설명하지 않는다.
관련 문서
KNAS / FairNAS / BigNAS / SPOS 구조 탐색 / NAS-Bench-101 / NAS-Bench-201