변분 정보 증류

교사 정보를 예측하기

같은 입력에서 얻은 교사 활성 T와 학생 활성 S의 상호정보량은 H(T)+E[ln p(T|S)]로 나타낼 수 있다. 조건부 분포 p를 직접 알기 어려우므로 q(T|S)를 학습한다. 적절한 조건에서 H(T)+E[ln q(T|S)]는 정보량의 하한이다.

고정 교사의 엔트로피

교사가 고정돼 있으면 H(T)는 학생 매개변수에 따라 변하지 않는다. 따라서 학생 표현으로 교사 활성의 로그우도를 높이는 항을 학생의 과제 손실과 함께 학습할 수 있다. 하한을 높이는 것과 정보량의 참값을 정확히 계산한 것은 구분해야 한다.

가우스 예측의 계산

가우스 근사를 쓰면 활성 예측 오차와 예측 분산이 음의 로그우도에 함께 들어간다. 상수항을 제외한 한 좌표의 값은 (T−μ)²/(2σ²)+lnσ다. T=3, μ=2, σ=1이면 0.5이고 σ=2이면 0.125+ln2다. 분산을 키우면 오차 항은 작아져도 로그 항은 커진다.

표현 사이의 전달

학습 가능한 예측 분포가 서로 다른 구조의 교사와 학생 표현을 연결한다. 교사 활성의 차원과 학생 표현의 차원을 그대로 같게 고정하는 것과는 다르다. 어떤 층을 연결할지, 분포의 가정과 정규화 항의 비중을 정하고 실제 분류나 전이 성능으로 전달 효과를 평가한다.