깊은 잠재 모형의 학습
서로 의존하는 확률 변수가 여러 층에 놓이면 표현력이 커져도 학습이 어려울 수 있다. Ladder VAE는 자료에 의존하는 근사 우도로 생성 분포를 반복적으로 보정하는 추론 구조를 제안한다.
계층 표현의 활용
단순한 상향 추론을 사용하는 층별 VAE와 예측 로그 우도 및 로그 우도 하한을 비교했다. 더 깊고 분산된 잠재 변수 계층을 실제로 활용하는지도 분석했다.
학습을 안정시키는 절차
여러 확률 층을 가진 모형에서 배치 정규화와 결정적 워밍업의 중요성을 조사했다. 워밍업은 KL 항을 점차 켜는 방식으로 구성해 학습 초기에 주는 영향을 조절한다.
관련 문서
VampPrior / 변분 오토인코더 / 확률적 역전파 연구 / 구면 잠재 공간의 VAE 안정화 / 배치 정규화 / 잠재 변수