미리 계산한 후보 성능
후보 구조마다 학습과 평가를 반복하면 탐색 방법을 비교하는 비용이 크다. 이 벤치마크는 제한한 공간의 결과를 기록해 빠르게 조회할 수 있도록 한다. 후보 성능을 조회하는 프로그램과 원래 후보를 실제로 학습하는 비용은 구분된다.
구조와 동형성
노드 번호가 달라도 연결과 연산의 관계가 같으면 같은 구조를 표현할 수 있다. 동형성을 고려하면 이름만 바뀐 중복 후보를 줄일 수 있다. 노드 수나 매개변수 수가 같다는 사실만으로 모든 구조가 같은 것은 아니다.
예산 계산의 독립 예제
조회한 세 후보의 기록된 학습 비용이 100, 200, 300단위라면 탐색에 부과할 모의 비용은 합계 600일 수 있다. 조회 자체가 순식간에 끝나더라도 이 값과 같은 실제 학습을 했다는 뜻은 아니다. 비교에서는 어떤 예산을 제한했는지 밝혀야 한다.
범위와 재현성
같은 공간과 학습 설정에서 방법들을 비교하기 쉽지만 그 공간 밖의 구조나 다른 데이터에서도 순위가 같다고 보장되지는 않는다. 검증 성능으로 후보를 선택하고 최종 시험 결과와 구분한다. 학습 무작위성에 따른 변동도 함께 살펴야 한다.
관련 문서
NAS-Bench-201 / DARTS / ENAS / ProxylessNAS / Once-for-All / 과적합