표본 증가와 경사 추정
IWAE는 표본 수가 많아질수록 더 촘촘한 변분 하한을 얻지만, 일반적인 추론 신경망의 경사 추정은 오히려 나빠질 수 있다. DReG는 목적함수의 경계와 경사 추정 품질을 구분해 다룬다.
두 번째 재매개변수화
기존 개선 추정기에 남은 편향을 분석하고 두 번째 재매개변수화로 이를 처리한다. 계산 효율적인 불편 경사 추정기로 구성해 다중 표본 학습에서 사용할 수 있게 한다.
여러 목적에의 적용
IWAE 경사뿐 아니라 재가중 wake-sleep 갱신과 잭나이프 변분 추론의 경사에서도 분산 감소를 조사했다. 여러 모형 학습 과제에서 세 목적의 성능을 평가했다.
관련 문서
IWAE / 확률적 역전파 연구 / 변분 오토인코더 / 몬테카를로 방법 / 중요도 표본 추출 / 변분 추론