공통된 과제 구성
여러 시각 과제에 같은 함수 형태를 사용하는 접근이다. 각 과제마다 별도의 전문가 설계 변경을 추가하기보다 학습한 안내 코드를 통해 출력을 구성한다.
두 구성 요소의 분담
기본 모형은 피드포워드 방식으로 고차원 시각 출력을 직접 예측한다. 자기회귀 언어 모형은 그 예측을 안내할 이산 코드를 생성해 구조적인 상호 의존 관계를 다룬다.
통합 방식의 평가
원 연구는 파놉틱 분할과 깊이 예측 및 이미지 색상화에서 평가했다. 안내 코드를 만드는 구조 모형과 고차원 출력을 효율적으로 처리하는 기본 모형이 서로 보완하는 접근이다.
관련 문서
유한 스칼라 양자화 / VQ-VAE / VQGAN / MaskGIT / 자기회귀 모델 / 표현 학습