심층 변분 정보 병목

값 대신 분포로 인코딩

인코더는 입력 x마다 잠재 변수 Z의 조건부 분포를 만든다. 분류기는 이 분포에서 얻은 표현으로 목표 y를 예측한다. 학습은 예측에 필요한 정보와 입력 표현의 복잡성 사이의 절충을 변분적 상한과 하한으로 다룬다.

학습 목적의 구성

대표 최소화 목적은 기대 음의 로그 예측확률에 βEₓ[KL(q(z|x)||r(z))]를 더한 형태다. r은 기준 분포다. 이 KL 평균은 입력과 잠재 변수의 상호정보량을 제어하는 상한으로 사용하며 실제 상호정보량과 항상 같지는 않다.

가우스와 재매개변수화

대각 가우스 인코더에서는 z=μ(x)+σ(x)ε, ε는 표준정규 잡음으로 표현할 수 있다. μ=2, σ=0.5, ε=−1이면 z=1.5다. 단위 분산의 N(2,1)과 기준 N(0,1) 사이 KL 발산은 2이므로 이 입력의 KL 벌점은 2β다. 두 계산은 각각 다른 설정의 예다.

압축과 성능 평가

β를 키우면 이 표기에서는 KL 벌점의 비중이 커지지만 예측 정보까지 잃을 수 있다. 확률적 표현을 쓴다는 사실만으로 모든 공격이나 분포 변화에 견고하다고 단정할 수 없다. 검증 성능과 잠재 분포의 변화, 예측 시 표본 평균을 사용하는 방식 등을 구분해 평가한다.