초기 잠재 코드의 문제
자기회귀 디코더를 가진 VAE에서는 재구성과 KL 정규화의 균형이 중요하다. 이 연구는 초기 디코더 학습에 좋은 잠재 코드가 부족한 것이 KL 항 소실과 연결된다고 분석했다.
가중치를 순환시키기
KL 항의 베타 가중치를 늘리는 과정을 여러 번 반복한다. 이전 주기의 유용한 표현을 재시작의 기반으로 활용해 의미 있는 잠재 코드를 점차 학습하도록 한다.
자연어 과제의 평가
언어 모델링과 대화 응답 생성 및 비지도 언어 사전 학습에서 효과를 검증했다. 학습 목적의 두 항을 고정된 비율로 두는 대신 시간에 따라 조절하는 방법이다.
관련 문서
VAE 추론 지연 완화 / Ladder VAE / 델타 VAE / 구면 잠재 공간의 VAE 안정화 / 변분 오토인코더 / 언어 모델