하한의 품질과 학습
증거 하한이 실제 우도에 더 가까워지는 성질과 추론 신경망이 잘 학습되는 성질은 별개다. 이 연구는 촘촘한 하한이 경사 추정의 신호 대 잡음비를 낮춰 학습을 방해할 수 있다는 이론과 실험을 제시했다.
세 가지 목적 구성
부분 중요도 가중, 다중 중요도 가중, 결합 중요도 가중 오토인코더를 제안했다. 각각 PIWAE와 MIWAE 및 CIWAE라고 부르며 표준 IWAE를 특수한 경우로 포함한다.
생성과 추론의 평가
제안한 방법은 IWAE 목적 자체로 평가해도 개선되는 경우를 보였다. 특히 PIWAE에서는 추론 신경망과 생성 신경망의 학습을 동시에 개선할 가능성을 조사했다.
관련 문서
IWAE / DReG / 변분 오토인코더 / Sticking the Landing / 신호 대 잡음비 / 변분 추론