비교 조건을 맞추기
탐색 방법마다 후보 공간과 학습 설정이 다르면 높은 최종 점수만으로 방법의 우열을 판단하기 어렵다. NAS-Bench-201은 정해진 공간의 결과와 진단 정보를 제공한다. NAS-Bench-101의 기록에 숫자만 추가한 것이 아니라 다른 탐색 공간을 사용한다.
후보 수의 계산
노드 네 개를 위상 순서로 두면 앞 노드에서 뒤 노드로 향하는 가능한 연결은 여섯 개다. 각 연결에서 연산 다섯 가지를 독립 선택하면 5⁶=15,625개 조합이 된다. 이는 지정된 셀 공간의 조합 수이며 모든 가능한 신경망 수를 뜻하지 않는다.
학습 과정의 정보
최종 정확도뿐 아니라 학습 중 손실과 정확도 같은 기록을 살펴볼 수 있다. 이를 통해 후보의 수렴이나 짧은 평가 예산의 영향을 분석할 수 있다. 다만 일찍 좋았던 후보가 긴 학습 후에도 항상 최선이라는 보장은 없다.
올바른 사용 범위
한 벤치마크에서의 탐색 우위가 다른 공간과 하드웨어로 그대로 이어지는 것은 아니다. 여러 데이터셋의 결과를 볼 수 있어도 시험 결과를 반복 선택에 사용하면 평가가 편향될 수 있다. 탐색 예산과 최종 평가 규칙을 맞춰 비교한다.
관련 문서
NAS-Bench-101 / DARTS / ENAS / ProxylessNAS / Once-for-All / 과적합