학습 때의 추출이 주는 영향
훈련과 구조 탐색을 나누는 방식에서는 훈련 중 어떤 구조를 표본으로 뽑는지가 최종 정확도에 영향을 준다. 균일 추출은 단순하지만 중요한 성능 경계를 고려하지 않는다는 문제를 다룬다.
파레토 경계에 집중하기
정확도와 계산 비용 사이에서 유리한 모형을 찾는 데 추출 전략을 집중한다. 훈련 중 파레토 경계의 신경망을 효율적으로 식별하는 알고리즘도 제안했다.
여러 계산 구간의 모형
추가 재학습이나 후처리 없이 넓은 계산량 범위의 신경망을 얻는 설정을 평가했다. ImageNet의 여러 크기 모형을 비교하며, 단일 최고 정확도보다 성능과 비용의 경계를 개선하는 목표를 다룬다.
관련 문서
BigNAS / Once-for-All / ProxylessNAS / NAS-Bench-101 / NAS-Bench-201 / MobileOne