두 생성 방식의 연결
확산 언어 모형의 병렬 생성과 제어 가능성을 유지하면서 고정 길이 생성의 한계에 대응한다. 이산 잡음 제거와 자기회귀 사이를 잇는 블록 단위 모형 계열을 제안했다.
길이와 추론 효율
유연한 길이의 시퀀스를 지원하고 KV 캐시와 병렬 토큰 추출을 활용한다. 전체 시퀀스를 한 번에 고정해 복원하는 방식과 순서대로 한 토큰만 확정하는 방식 사이의 선택을 제공한다.
경사 분산을 줄이는 학습
효율적인 훈련 알고리즘과 경사 분산 추정기를 제시했다. 자료 기반 잡음 일정으로 분산을 줄이도록 설계하고 언어 모델링 성능과 임의 길이 생성 능력을 평가했다.