후보를 매번 새로 학습하지 않기
탐색 그래프의 연산과 연결을 조합하면 여러 후보 구조가 만들어진다. 후보들이 같은 부분을 사용할 때 가중치를 공유해 매번 처음부터 독립적으로 학습하는 부담을 줄인다. 구조를 선택하는 제어기와 선택된 부분의 가중치 학습은 서로 다른 역할을 한다.
공유의 독립 예제
후보 A가 연결 1·2를 사용하고 후보 B가 연결 1·3을 사용한다고 하자. 연결 1의 가중치를 공유하면 A에서의 학습이 B의 계산에도 영향을 줄 수 있다. 이는 비용 절감의 원리이면서 후보 평가가 서로 완전히 독립적이지 않다는 뜻이기도 하다.
검증 보상
제어기는 선택한 구조의 검증 보상을 바탕으로 선택 정책을 갱신한다. 후보 모형 가중치는 학습 손실을 줄이도록 갱신한다. 검증 자료를 구조 선택에 반복 사용하므로 최종 품질을 확인할 별도 평가가 중요하다.
순위와 최종 품질
공유 가중치에서 좋아 보이는 후보가 독립적으로 재학습했을 때도 같은 순위를 가진다고 보장되지는 않는다. 탐색 공간과 가중치 공유 방식, 학습 예산이 결과에 영향을 준다. 탐색 시간과 최종 모형의 정확도 및 실행 비용을 따로 비교한다.