생성과 추론의 두 방향
wake-sleep은 방향성 생성 모형과 관측 자료에서 잠재 변수로 돌아가는 추론 신경망을 함께 학습한다. 추론 신경망은 관측값이 주어졌을 때 잠재 변수의 사후 분포를 추정한다.
여러 잠재 표본의 재가중
추론 신경망에서 여러 잠재 표본을 얻고 이를 우도의 중요도 표본 추정에 사용한다. 이런 해석을 바탕으로 경사 추정과 생성 모형의 우도를 개선하는 재가중 절차를 제안했다.
추론 신경망의 표현력
원 연구는 추론 층의 표현력도 함께 조사했다. 시그모이드 신념망보다 강한 NADE 같은 층을 사용했을 때 생성 모형이 개선되는 실험을 제시했다.
관련 문서
IWAE / DReG / 중요도 표본 추출 / 확률적 역전파 연구 / 변분 오토인코더 / 잠재 변수