움직이는 사후를 따라가기
생성 모형이 학습되면 실제 사후도 변한다. 초기 추론 신경망이 이 목표를 충분히 근사하지 못하면 생성 모형이 잠재 코드를 무시하는 쪽으로 학습될 수 있다는 관찰에서 출발한다.
추론을 먼저 최적화
잠재 변수와 관측 자료 사이의 현재 상호 정보량에 따라 추론 신경망을 적극적으로 최적화한다. 이후 생성 모형을 갱신해 추론 지연을 줄이는 방식이다.
학습 절차의 평가
새로운 모형 구성 요소를 더하기보다 갱신 절차를 바꾸는 접근이다. 텍스트와 이미지 벤치마크에서 보류 자료의 우도를 평가하고 다른 붕괴 완화 기법과 비교했다.
관련 문서
델타 VAE / 순환 KL 어닐링 / InfoVAE / 구면 잠재 공간의 VAE 안정화 / 변분 오토인코더 / 상호 정보량