이산 상태의 교란
연속 값에 가우스 잡음을 더하는 대신 상태 사이 이동 확률로 교란을 표현한다. 모든 상태를 균일하게 바꾸는 설정을 넘어 자료 구조를 담는 전이를 사용한다.
전이 행렬의 선택
가우스 커널을 닮은 행렬과 임베딩 공간의 이웃 기반 행렬 및 흡수 상태를 도입하는 행렬을 다룬다. 흡수 상태를 사용하는 경우에는 마스크 기반 생성과 자기회귀 생성의 관계도 연결해 설명한다.
학습 목표와 적용
변분 하한에 보조 교차 엔트로피 손실을 결합한다. 원 연구는 이미지와 문자 수준 텍스트 및 큰 어휘의 텍스트 자료에서 전이 선택과 학습 목표를 평가했다.