길이와 재구성의 균형
고해상도 이미지의 자기회귀 생성에서는 코드 시퀀스를 줄여야 먼 관계를 다루는 비용도 줄어든다. 이 연구는 짧은 시퀀스와 높은 충실도의 재구성을 함께 얻는 문제에 주목한다.
위치별로 쌓는 코드
고정된 코드북 크기에서 RQ-VAE가 특징 맵을 여러 이산 코드의 쌓임으로 근사한다. RQ-Transformer는 다음 위치의 코드 묶음을 예측해 양자화된 특징 벡터를 생성한다.
압축한 공간의 평가
원 연구는 256×256 이미지를 8×8 특징 맵으로 표현하는 구성을 제시했다. 비조건부 및 조건부 이미지 생성 벤치마크에서 생성 품질과 자기회귀 표본 추출 비용을 평가했다.
관련 문서
VQ-VAE / VQGAN / TiTok / 유한 스칼라 양자화 / 자기회귀 모델 / 생성 모델