이산 공간의 학습 목표
연속 공간의 점수 맞추기를 이산 상태로 옮기는 문제에 접근한다. 점수 엔트로피라는 손실을 제안해 이산 확산 모형의 학습에 결합한다.
언어 생성의 평가
표준 언어 모델링 과제에서 다른 언어 확산 방식과 자기회귀 모형을 비교했다. 비교 모형의 규모와 생성 설정에 따라 결과가 달라지므로 논문의 성능을 모든 언어 모형에 대한 우위로 일반화하지 않는다.
계산량과 조건부 채우기
생성 계산량과 품질을 교환할 수 있으며 문장의 빈 부분을 제어해 채우는 기능을 다룬다. 왼쪽에서 오른쪽으로만 조건을 주는 방식 외에 다른 조건 배치도 지원한다.
관련 문서
D3PM / Argmax Flows와 다항 확산 / DDPM / MaskGIT / 확률 분포 / 자기회귀 모델