연속 토큰의 자기회귀
자기회귀 모형이 반드시 이산 토큰만 사용해야 하는 것은 아니라는 관점에서 출발한다. 각 토큰의 확률 분포를 확산 과정으로 나타내 연속값 공간에 적용한다.
토큰 분포의 확산 손실
범주형 교차 엔트로피 대신 토큰별 확률을 다루는 확산 손실을 정의한다. 이 방식으로 이산 토크나이저를 요구하지 않는 자기회귀 이미지 생성 모형을 구성한다.
마스크 형태로의 일반화
표준 자기회귀 모형과 일반화한 마스크 자기회귀 MAR 변형에서 평가했다. 벡터 양자화를 제거한 표현으로 이미지 품질과 시퀀스 모델링의 생성 효율을 함께 조사했다.
관련 문서
VAR 다음 규모 예측 / MaskGIT / VQ-VAE / VQGAN / 확산 모델 / 자기회귀 모델