표현을 먼저 생성하기
사전 모형은 문장 설명으로부터 CLIP 이미지 임베딩을 생성한다. 디코더는 이 임베딩을 조건으로 실제 이미지를 만든다. 문장에서 곧바로 픽셀을 생성하는 단일 단계와 구분되는 구성이다.
임베딩에서의 변형
이미지 표현이 보존하는 의미와 스타일을 유지하면서, 표현에 담기지 않은 세부 사항은 달라지는 변형을 생성할 수 있다. 공통 임베딩 공간을 이용한 언어 안내 조작도 평가했다.
두 모형의 역할
디코더에는 확산 모형을 사용한다. 사전 모형에는 자기회귀 방식과 확산 방식을 비교했으며, 원 연구의 실험에서는 확산 사전 모형이 계산 효율과 표본 품질에서 유리했다.
관련 문서
CLIP / GLIDE 이미지 생성 / 잠재 확산 모형 / DDPM / 분류기 없는 확산 안내 / Imagen 이미지 생성