잠재 정보의 보존
강한 디코더가 잠재 변수를 무시하는 사후 붕괴를 다룬다. 디코더의 능력을 낮추거나 학습 목적을 바꾸는 대신 사후 분포를 고르는 변분 분포족에 제약을 두는 접근이다.
분포족에 두는 거리 제약
변분 사후가 사전 분포에 너무 가까워지지 않도록 최소 거리를 설정한다. 변분 하한을 최적화하면서도 잠재 변수에 유용한 정보를 남기는 것이 목표다.
순차 자료와 이미지 평가
순차 잠재 모형에서는 느린 특징 분석과 비슷한 관계를 가진다. 원 연구는 LM1B 텍스트와 CIFAR-10 및 ImageNet32 이미지에서 표현과 생성 품질 및 우도를 평가했다.
관련 문서
구면 잠재 공간의 VAE 안정화 / InfoVAE / 변분 오토인코더 / Ladder VAE / 잠재 변수 / 변분 추론