벤치마크 사이의 차이
미리 계산한 구조 성능은 탐색 실험 비용을 낮추지만 벤치마크마다 탐색 공간과 접근 방식이 다르다. 일부 공간에 집중하면 다른 과제에서도 같은 탐색 전략이 유효한지 판단하기 어렵다.
공통 인터페이스의 평가 모음
연구는 탐색 알고리즘과 성능 예측 방법을 여러 공간 및 자료 조합에서 분석했다. 소수 벤치마크에서 도출한 결론 중 많은 것이 다른 벤치마크로 일반화되지 않음을 관찰하고 확장 가능한 평가 모음을 제안했다.
무훈련 대리지표를 위한 확장
NAS-Bench-Suite-Zero는 28개 과제에서 13개 무훈련 대리지표를 평가한 자료와 구현을 제공한다. 지표들이 서로 보완적인 정보를 담는지 분석하고 셀 크기 같은 편향을 줄이는 절차와 여러 지표를 예측기에 결합하는 방식을 조사했다.
관련 문서
대리모형 NAS 벤치마크 / BANANAS / NAS-Bench-101 / NAS-Bench-201 / 경량 NAS의 무훈련 대리지표 / Zero-Cost-PT