입력 조건을 유지하는 교란
입력과 출력 토큰을 공통 연속 공간에 임베딩하고 연결한다. 순방향에서는 출력에 해당하는 부분만 교란해 입력 문장을 조건으로 사용할 수 있게 한다.
분류기 없는 조건 복원
트랜스포머가 두 시퀀스의 의미 관계를 학습하며 출력의 잡음을 제거한다. 별도로 학습한 분류기 없이 입력 문장 자체가 복원의 조건이 된다.
품질과 다양성의 평가
원 연구는 여러 시퀀스 변환 과제에서 생성 품질과 문장 수준 다양성을 비교했다. 자기회귀 및 비자기회귀 생성과의 이론적 관계도 분석해 조건부 언어 확산의 성격을 설명했다.
관련 문서
GENIE 확산 언어 모형 / Diffusion-LM / LLaDA / MDLM / SEDD / 트랜스포머