문단 단위의 복원
대규모 언어 말뭉치에서 연속 문단 잡음 제거 목표를 사용한다. 손상된 문단을 복원하면서 의미와 구문이 일관되게 유지되도록 확산 디코더를 학습한다.
생성을 위한 사전 학습
인코더가 입력 정보를 처리하고 확산 기반 디코더가 무작위 잡음 시퀀스를 텍스트로 바꾼다. 특정 과제 하나의 모형 대신 여러 생성 과제에 활용할 사전 학습 구성을 제안했다.
여러 생성 과제의 비교
XSum과 CNN/DailyMail 및 Gigaword와 CommonGen에서 평가했다. 원 연구는 자기회귀 기준 모형과 생성 성능 및 표본 다양성을 비교했으며, 사람 평가 시스템인 동명의 GENIE와는 다른 연구다.
관련 문서
DiffuSeq / Diffusion-LM / MDLM / LLaDA / Block Diffusion 언어 모형 / 트랜스포머