단순한 마스크 확산
마스크 이산 확산이 언어 모델링에서 낼 수 있는 성능을 학습 구성과 함께 재검토한다. 모형 계열의 차이만이 아니라 훈련 방식이 결과에 주는 영향을 다룬다.
단순화한 목적 함수
라오 블랙웰화를 이용해 학습 목표를 단순화한다. 결과는 고전적인 마스크 언어 모델링 손실을 섞은 형태가 되며 인코더 전용 모형 학습에 사용된다.
길이가 긴 텍스트의 생성
효율적인 표본 추출뿐 아니라 반자기회귀 방식으로 임의 길이의 텍스트를 생성하는 방법도 포함한다. 고정 길이 한 묶음의 복원과 긴 텍스트를 이어 만드는 절차를 구분한다.
관련 문서
MD4 / SEDD / D3PM / Argmax Flows와 다항 확산 / BERT / MaskGIT