목적함수와 표현 능력
VAE의 학습 목적이 지나치게 단순한 표현을 만들어 신경망의 전체 용량을 쓰지 못할 수 있다는 관찰에서 출발했다. IWAE는 구조를 유지하면서 로그 우도의 하한을 중요도 가중 방식으로 바꾼다.
여러 표본을 사용하는 추론
인식 신경망이 여러 표본을 이용해 사후를 근사한다. VAE의 단순한 사후 가정에 맞지 않는 복잡한 분포를 더 유연하게 다루려는 방법이다.
학습 결과의 평가
원 연구는 더 풍부한 잠재 표현과 밀도 추정 벤치마크의 시험 로그 우도를 평가했다. 표본 수와 목적의 경계가 추론 신경망의 경사 추정에 주는 영향은 후속 DReG 연구에서도 다뤄졌다.
관련 문서
변분 오토인코더 / DReG / 중요도 표본 추출 / 잠재 변수 / 확률적 역전파 연구 / 변분 추론