연산 선택을 혼합으로 바꾸기
연결에 어떤 연산을 둘지 하나씩 고르는 문제를 여러 후보 연산의 가중 혼합으로 나타낸다. 혼합 비중을 정하는 구조 매개변수에 기울기를 전달할 수 있다. 연산의 일반 가중치와 구조를 선택하는 값의 역할은 다르다.
혼합의 독립 예제
두 후보 연산이 같은 입력에서 2와 6을 출력하고 비중이 0.25와 0.75라면 혼합 출력은 5다. 탐색 후 두 번째 연산 하나를 선택하면 출력은 6이다. 연속 탐색 중의 모형과 최종 이산 모형이 완전히 같지 않을 수 있음을 보여 준다.
탐색 공간의 영향
후보로 허용한 연산과 연결이 탐색 가능한 구조를 정한다. 기울기를 사용할 수 있다고 모든 가능한 신경망을 제한 없이 찾아 주는 것은 아니다. 선택한 구조를 다시 학습하고 독립 자료로 평가해 탐색 단계의 추정과 실제 성능을 구분한다.
비용과 한계
여러 연산을 함께 유지하면 탐색 시 메모리와 계산 부담이 생길 수 있다. 최종 구조가 작아도 탐색 자체의 비용은 별도로 든다. 비교에서는 후보 공간과 탐색 예산, 최종 학습량을 맞추고 검증 자료에 대한 과적합도 확인한다.