한 과제를 넘어서는 탐색
한 과제에서 얻은 구조 설계 지식을 다른 과제에 활용하면 탐색 비용을 줄일 가능성이 있다. 그러나 과제 간 탐색은 학습 비용과 실험 구성의 복잡성 때문에 비교가 어렵다.
두 종류의 탐색 공간
벤치마크는 셀 내부의 설계를 바꾸는 공간과 더 큰 수준의 구성을 바꾸는 매크로 공간을 다룬다. 7,352개 백본을 일곱 과제에서 평가한 51,464개 학습 모형의 정보를 제공했다.
전이 효율과 일반화
다양한 과제의 결과를 함께 사용해 설계 지식을 보존하고 재사용하며 수정하는 탐색 방식을 비교할 수 있다. 한 과제에서 찾은 우수한 구조가 다른 과제에서도 같은 순위를 얻는지는 별도로 평가할 문제다.
관련 문서
NAS-Bench-Suite / NAS-Bench-NLP / NAS-Bench-101 / NAS-Bench-201 / nasgraph / 대리모형 NAS 벤치마크