영상의 시공간 토큰
영상의 공간과 시간 정보를 3차원 토크나이저로 양자화해 시각 토큰으로 표현한다. 여러 합성 과제를 하나의 모형으로 처리하기 위한 표현을 구성한다.
마스크 학습과 과제 결합
마스크된 영상 토큰을 모델링하는 임베딩 방법을 제안했다. 이를 통해 다중 과제 학습을 지원하고 같은 모형에서 여러 조건의 영상 생성을 다룬다.
품질과 효율의 평가
원 연구는 세 영상 생성 벤치마크에서 품질을 평가하고 기존 확산 및 자기회귀 모형과 추론 시간을 비교했다. 한 모형의 열 가지 생성 과제와 서로 다른 시각 영역의 영상에 대한 일반화도 조사했다.
관련 문서
MaskGIT / VQGAN / VQ-VAE / MAGE 생성 인코더 / 비전 트랜스포머 / 생성 모델