잠재 변수를 무시하는 해
텍스트 VAE에서는 강한 인코더와 디코더를 사용해도 변분 사후 분포가 사전 분포와 같아지는 좋지 않은 국소 최적점에 도달할 수 있다. 이 경우 모형이 잠재 변수를 활용하지 않게 된다.
구면 분포와 KL 항
단위 초구면 표면에 확률을 두는 폰 미제스 피셔 분포를 사전과 사후에 사용한다. 이 설정에서는 KL 항이 분산에만 의존하므로 이를 고정 하이퍼파라미터로 다룰 수 있다.
텍스트 모형의 평가
고정 설정으로 KL 붕괴를 막는 효과를 조사했다. 순환 언어 모형과 단어 주머니 문서 모형에서 가우스 방식과 우도를 비교하고 잠재 표현의 구조도 분석했다.
관련 문서
S-VAE / 변분 오토인코더 / 쿨백 라이블러 발산 / 언어 모델 / 잠재 변수 / 구면 텍스트 임베딩