확률적 지식 전달

좌표 대신 표본 관계

같은 전달 자료를 교사와 학생에 넣고 각 공간에서 표본 간 유사도를 구한다. 교사와 학생의 특징 차원이 달라도 표본끼리의 관계 행렬은 같은 자료 개수를 기준으로 비교할 수 있다. 교사의 모든 특징 좌표를 학생 좌표와 일대일로 대응시킬 필요는 없다.

유사도에서 확률로

대표 구성은 코사인 유사도 c를 (c+1)/2로 바꾸어 비음수 친화도를 만든다. 두 후보의 코사인이 0.6과 −0.2이면 친화도는 0.8과 0.4다. 자기 자신을 제외하고 합으로 정규화하면 이웃 선택 확률은 2/3과 1/3이 된다. 정규화 합이 0인 경우에는 별도 처리가 필요하다.

이웃 분포의 증류

교사 조건부 분포 p와 학생 분포 q 사이의 Σp ln(p/q)를 줄인다. 가까운 이웃의 상대 비중이 비슷하도록 학습하는 신호다. KL은 대칭 거리가 아니므로 p와 q를 바꾸면 일반적으로 다른 값이다. 확률분포를 맞춘다는 것이 원래 좌표나 모든 절대 거리를 그대로 복제한다는 뜻은 아니다.

전달 자료의 역할

두 모형이 공유하는 전달 표본 집합이 관계 계산의 기준이 된다. 정답 레이블이 없어도 이 관계를 계산할 수 있지만 표본 집합이 바뀌면 이웃 분포도 달라진다. 배치로 근사할 때는 배치 크기와 구성, 특징 정규화를 확인하고 배치 내부의 일치와 전체 자료에서의 전이를 구분해 평가한다.