잡음 제거 목표의 연결
BERT 같은 사전 학습 언어 모형과 확산 모형은 잡음 제거라는 목표를 공유한다. 이를 활용해 BERT에서 초기화하고 이산 확산의 역방향을 학습한다.
토큰 정보와 시간 단계
순방향에서 토큰이 가진 정보에 따라 단계별 교란 정도를 조절하는 잡음 일정을 제안한다. 확산 시간 단계를 BERT에 반영하는 여러 설계도 비교한다.
무조건부 텍스트 생성
원 연구는 조건 없는 텍스트 생성에서 퍼플렉시티와 BLEU를 평가했다. 사전 학습 초기화와 확산 훈련의 결합이 생성 품질과 수렴에 주는 영향을 다룬 접근이다.
관련 문서
BERT / D3PM / Diffusion-LM / MDLM / MD4 / LLaDA