두 분포로 나누기
교사 출력이 정답 범주 0.8, 나머지 두 범주 0.15와 0.05라면 첫 분포는 (0.8,0.2)다. 둘째 분포는 비정답 확률을 합이 1이 되도록 나눈 (0.75,0.25)다. 정답 여부의 확신과 비정답 후보들 사이의 비중을 따로 표현한 계산이다.
기존 KL의 분해
정답 확률을 p정답이라고 하면 교사에서 학생으로의 KL은 이진 분포의 KL에 (1−p정답)배의 비정답 조건부 분포 KL을 더한 형태로 분해된다. 위 예에서 둘째 항의 계수는 0.2다. 교사가 정답에 매우 확신하면 기존 손실에서 비정답 관계의 기여가 작아진다.
두 비중의 독립 조절
DKD는 정답 관련 항과 비정답 관련 항을 별도의 계수 α와 β로 결합한다. 비정답 항의 비중이 교사의 정답 확률에 의해 자동으로 줄어드는 결합을 풀어 준다. 이는 정답 레이블을 버리는 절차나 모든 비정답 범주를 균일하게 만드는 목적과 다르다.
온도와 평가 조건
교사와 학생 출력의 온도, 두 계수, 학생의 원래 정답 예측 손실 비중을 구분한다. 비정답 관계도 교사의 학습 자료와 오류를 반영할 수 있으므로 특정 계수가 모든 학생 구조에 적합하다고 가정하지 않는다. 증류 후 학생만 사용하는 추론 성능과 학습 중 교사 계산 비용을 따로 비교한다.