픽셀보다 짧은 표현
합성곱 인코더와 디코더로 이미지를 학습된 이산 코드북의 공간적 배열로 표현한다. 각 위치의 인코딩을 가까운 코드로 양자화하고 그 인덱스를 시퀀스로 바꾼다.
압축과 지각 품질
픽셀별 재구성 손실을 지각 손실로 바꾸고 패치 기반 판별기의 적대적 학습을 더한다. 높은 압축에서도 지각 품질을 유지할 수 있는 문맥이 풍부한 코드를 학습하려는 구성이다.
트랜스포머의 조합 학습
코드 인덱스를 자기회귀적으로 예측하는 트랜스포머를 학습한다. 원 연구는 객체 클래스 같은 비공간 조건과 분할 지도 같은 공간 조건을 이용한 고해상도 이미지 합성을 평가했다.
관련 문서
VQ-VAE / 유한 스칼라 양자화 / 비전 트랜스포머 / 자기회귀 모델 / 학습된 특징 기반 VAE 재구성 / 생성적 적대 신경망