연산 선택의 평가 문제
미분 가능한 구조 탐색은 선택 지점마다 어떤 연산을 쓸지 평가해야 한다. 연구는 기존 연산 점수 함수가 정확도의 불완전한 대리값이며 벤치마크에서 잘못 평가할 수 있음을 분석했다.
교란 기반 무훈련 점수
여러 후보를 비교하는 탐색에서 쓰던 무훈련 대리지표를 연산 선택에 활용한다. 큰 탐색 공간에서 지표가 악화되는 문제에 대응해 교란 기반 평가 방식을 제안했다.
다양한 탐색 공간의 비교
NAS-Bench-201과 원샷 및 매크로 공간, DARTS와 MobileNet 계열 공간에서 평가했다. 탐색 시간과 정확도뿐 아니라 다른 자료에서 탐색한 구조의 전이도 비교했다.
관련 문서
경량 NAS의 무훈련 대리지표 / TE-NAS / FairNAS / SPOS 구조 탐색 / NAS-Bench-201 / ProxylessNAS