위키득계정 ↗
기술

Sticking the Landing

Sticking the Landing기술
연구 공개
2017년
대상 목적
변분 증거 하한
제거 요소
점수 함수에 해당하는 항
핵심 성질
사후 일치에 따른 분산 감소
Sticking the Landing은 변분 증거 하한의 재매개변수화 경사에서 점수 함수 항을 제거하는 추정 방법이다. 표준 하한에서 불편성을 유지하며 근사 사후가 실제 사후에 가까워질 때 분산을 줄인다.

전체 미분의 구성

변분 파라미터에 대한 전체 미분 가운데 점수 함수에 해당하는 부분을 제거한다. 표준 재매개변수화 경사 추정기를 단순하게 바꾸는 방법으로 제안됐다.

사후가 가까워질 때

표준 변분 하한에서는 제거한 항의 기댓값이 사라져 불편 경사 추정기를 얻는다. 근사 사후가 실제 사후에 접근할수록 이 추정기의 분산이 영에 가까워지는 성질을 분석했다.

확장과 후속 연구

원 연구는 혼합 분포와 중요도 가중 사후 같은 복잡한 분포로의 일반화도 조사했다. 다중 표본 목적에 확장할 때의 편향 문제는 후속 DReG 연구와 연결해 살펴볼 수 있다.

관련 문서

DReG / IWAE / 변분 하한과 경사 신호의 상충 / 확률적 역전파 연구 / 변분 오토인코더 / 변분 추론