한 망의 여러 출구
신경망을 여러 단계로 나누고 각 단계 뒤에 보조 분류 경로를 붙인다. 얕은 분류기는 일부 단계만 사용하고 가장 깊은 분류기는 전체 특징을 사용한다. 같은 입력을 처리하는 여러 경로를 학습 안에서 함께 활용할 수 있다.
레이블과 내부 교사
각 분류기는 정답 레이블의 감독을 받으며 얕은 경로는 깊은 경로의 부드러운 출력과 특징에도 지도받는다. 정답 손실만 각 깊이에 붙이는 깊은 감독과 달리 깊이 사이의 지식 전달 항이 포함된다. 실제 구성에서는 예측 분포와 특징의 비교 비중을 따로 정한다.
깊이별 계산의 예
네 단계의 비용이 각각 1,2,3,4라면 첫 두 단계를 거친 출구의 기본 누적 비용은 3이고 마지막 출구는 10이다. 보조 분류기 자체의 비용은 여기에 더해진다. 이 계산은 개념적 예이며 실제 실행 시간은 장치와 연산 배치에 따라 달라진다.
출구 선택과 성능
추론에서는 필요한 분류 경로를 선택하거나 사용하지 않는 학습용 부분을 제거할 수 있다. 얕은 출구의 비용이 낮아도 정확도가 가장 깊은 출구와 같다고 가정하지 않는다. 깊이별 성능을 같은 평가 자료에서 비교하고 배포 시 실제 사용할 출구와 추가 연산을 포함해 비용을 측정한다.