확장 과정의 두 선택
이산 토큰과 연속 토큰 중 무엇을 쓰는지, 무작위 순서와 고정된 줄별 순서 중 무엇으로 생성하는지를 비교했다. BERT형 및 GPT형 트랜스포머 구조에서 이 요소들을 조사한다.
손실과 품질 지표
원 연구에서는 검증 손실이 모형 크기에 따라 좋아져도 FID와 GenEval 및 시각 품질은 다른 경향을 보였다. 토큰 표현과 생성 순서가 최종 평가에 주는 영향을 구분했다.
Fluid의 구성과 평가
실험 관찰을 바탕으로 연속 토큰의 무작위 순서 자기회귀 모형을 학습했다. 105억 파라미터 모형을 MS-COCO 30K와 GenEval에서 평가해 텍스트 조건 생성의 확장을 조사했다.
관련 문서
MAR 연속 이미지 생성 / RAR 무작위 자기회귀 생성 / MaskGIT / VAR 다음 규모 예측 / 자기회귀 모델 / 생성 모델