순서도 학습의 일부로
이미지 토큰을 줄별 순서로 고정하는 대신 서로 다른 분해 순서로 무작위 치환한다. 다음 토큰 예측 목적은 유지하며 다양한 문맥 관계를 학습하는 접근이다.
무작위성의 점진적 감소
입력 순서를 섞을 확률을 1로 시작해 학습이 진행되면서 0까지 선형으로 낮춘다. 여러 분해 순서의 기대 우도를 높이는 방식으로 양방향 문맥을 다루는 능력을 개선하려 한다.
생성 모형의 평가
언어 모델링과 호환되는 자기회귀 틀을 유지하면서 이미지 생성에 적용했다. 원 연구는 ImageNet-256에서 생성 품질을 기존 자기회귀 및 확산과 마스크 트랜스포머 방식과 비교했다.
관련 문서
MaskGIT / VAR 다음 규모 예측 / MAR 연속 이미지 생성 / TiTok / 자기회귀 모델 / 비전 트랜스포머