두 과제의 공동 학습
이미지 생성과 표현 학습을 따로 학습하면 서로 줄 수 있는 도움을 활용하기 어렵다. MAGE는 가변 마스킹 비율로 두 과제를 같은 사전 학습 과정에서 수행한다.
의미 토큰의 마스킹
벡터 양자화 GAN이 학습한 의미 토큰을 입력과 출력에 사용한다. 아주 높은 마스킹 비율은 생성 학습에, 더 낮은 비율은 표현 학습에 사용하며 인코더 출력의 대조 손실도 조사했다.
생성과 표현의 평가
원 연구는 ImageNet-1K에서 비조건부 이미지 생성과 선형 탐침 분류를 함께 평가했다. 하나의 모형에서 생성 결과와 학습된 인코더 표현의 유용성을 동시에 보는 접근이다.
관련 문서
MaskGIT / VQGAN / VQ-VAE / 마스크드 오토인코더 / 대조 학습 / 표현 학습