같은 구조의 새 학생
먼저 정답 레이블로 교사 모형을 학습한다. 이후 동일한 구조의 새 학생을 다른 초기값에서 학습하며 정답 예측과 교사 출력 분포를 함께 활용한다. 기존 교사의 가중치에서 단순히 학습을 더 이어가는 절차와 구분된다.
분포가 주는 차이
정답이 A인 표본에서 교사 분포가 A=0.7, B=0.2, C=0.1이면 학생은 정답 번호 외에 후보 간 상대 비중도 받는다. B와 C의 확률을 뒤집으면 최대 범주는 여전히 A지만 전달되는 분포는 달라진다. 같은 정답률이 곧 같은 증류 신호를 뜻하지 않는다.
여러 세대의 학습
학습한 학생을 다음 교사로 삼아 새 학생을 다시 학습할 수 있다. 세 세대를 차례로 학습하고 마지막 모형 하나만 추론에 사용하면 최종 모형의 크기는 한 세대와 같다. 다만 앞 세대들을 학습하는 비용이 사라지는 것은 아니며 여러 세대를 앙상블하면 추론 비용도 늘어난다.
성능 향상의 범위
원 연구는 같은 용량의 학생이 교사보다 좋은 결과를 보일 수 있음을 실험했다. 모든 초기값과 자료에서 성능이 세대마다 계속 좋아진다는 보장은 아니다. 재학습의 이점을 평가할 때 초기화, 전체 학습 예산, 앙상블 여부를 맞춰 비교한다.