공유 가중치의 정확도 문제
원샷 구조 탐색은 하나의 가중치로 여러 구조의 상대적 순위를 비교한다. 하지만 그 가중치를 그대로 사용할 때의 절대 정확도가 개별 학습보다 낮을 수 있어 추가 훈련이 필요하다는 문제가 있었다.
추가 훈련 없이 모형 얻기
BigNAS는 ImageNet에서 공유 가중치를 학습하고 이를 이용해 서로 다른 계산량의 자식 모형을 얻는다. 탐색이 끝난 뒤 재학습이나 가중치 후처리를 하지 않는 설정을 평가했다.
학습 비용과 배포의 연결
여러 기기 조건에 맞는 모형을 얻는 과정에서 개별 훈련 비용과 절차의 복잡성을 줄이는 것이 목적이다. 원 연구는 여러 크기의 정확도와 구성 요소의 영향을 비교했다.
관련 문서
AttentiveNAS / Once-for-All / ProxylessNAS / NAS-Bench-101 / NAS-Bench-201 / EfficientFormer