위키득계정 ↗
기술

확률적 역전파 연구

확률적 역전파 연구기술
연구 공개
2014년
발표
ICML 2014
추론 모형
확률적 인코더
학습 대상
생성 모형과 인식 모형
확률적 역전파 연구는 확률 변수를 통과하는 역전파 규칙으로 심층 생성 모형과 근사 사후 모형을 함께 학습하는 방법을 제안했다. 인식 모형을 확률적 인코더로 사용해 추론과 학습을 연결한다.

근사 사후를 표현하는 모형

심층 방향성 생성 모형에 근사 베이즈 추론을 결합하는 연구다. 자료의 근사 사후 분포를 표현하는 인식 모형을 도입하며, 이 모형은 자료를 잠재 표현으로 바꾸는 확률적 인코더 역할을 한다.

확률 변수를 통과하는 경사

확률 변수에 대해 역전파할 수 있는 규칙을 개발했다. 이를 이용해 생성 모형과 인식 모형의 파라미터를 공동으로 최적화하는 학습 알고리즘을 구성한다.

생성과 추론의 활용

여러 실제 자료에서 표본 생성과 누락 자료의 대체 및 고차원 자료 시각화를 평가했다. 생성 모형을 학습하는 과정과 자료에서 잠재 구조를 추론하는 과정을 하나로 연결한 접근이다.

관련 문서

변분 오토인코더 / 역전파 / 잠재 변수 / 변분 추론 / 생성 모델 / 차원 축소