텍스트 VAE의 붕괴
순환 VAE의 사후 분포가 사전 분포로 붕괴하면 생성 모형이 잠재 코드를 무시할 수 있다. 이 연구는 잠재 공간의 기하와 학습 목적을 함께 바꾸는 방식으로 이 문제를 다룬다.
흐름과 바서슈타인 목적
리만 정규화 흐름은 입력 공간의 기하적 특성을 반영하는 공간으로 잠재 변수를 변환한다. 바서슈타인 목적은 주변 분포와 사전 분포의 거리를 줄이며, 각 사후 분포를 사전에 직접 맞추도록 강제하지 않는다.
언어 생성의 평가
원 연구는 여러 자료에서 KL 항 소실을 조사하고 언어 모델링과 우도 근사 및 텍스트 생성에서 평가했다. 잠재 분포의 기하와 생성 문장의 다양성도 분석했다.
관련 문서
변분 오토인코더 / 정규화 흐름 / 바서슈타인 거리 / 구면 잠재 공간의 VAE 안정화 / APo-VAE / 언어 모델