서로 다른 관점의 정리
마스크 확산은 흡수 상태를 이용하는 이산 생성 방식이다. 복잡한 정식화와 서로 불분명한 관점의 관계를 정리해 매개변수화와 학습 목적을 다룬다.
가중 교차 엔트로피
연속 시간의 변분 목적이 교차 엔트로피 손실의 간단한 가중 적분으로 표현됨을 보인다. 이를 토대로 상태마다 마스킹 일정이 다른 일반화 마스크 확산을 훈련한다.
언어와 이미지의 평가
OpenWebText 언어 모델링과 픽셀 수준 이미지 모델링에서 평가했다. 언어의 퍼플렉시티와 이미지의 차원당 비트는 서로 다른 평가량이므로 각각의 자료와 비교 설정 안에서 해석한다.
관련 문서
MDLM / D3PM / SEDD / Argmax Flows와 다항 확산 / VQ-Diffusion / 확률 분포