압축된 공간에서의 생성
픽셀 공간에서 많은 단계를 계산하면 학습과 생성 비용이 커진다. 먼저 학습한 오토인코더의 표현을 활용해 더 작은 잠재 공간에서 확산 모형을 학습한다.
조건 정보의 결합
교차 어텐션 층을 도입해 텍스트나 경계 상자 같은 다양한 조건을 받을 수 있도록 구성한다. 압축 표현에서의 생성과 조건을 전달하는 구조는 서로 구분되는 설계 요소다.
압축과 세부 정보의 균형
압축률을 높이는 일만이 목표는 아니다. 계산 복잡도를 낮추면서 이미지 세부 정보를 얼마나 보존하는지 함께 고려한다. 원 연구는 무조건부 생성과 장면 합성 및 복원·초해상도 등을 평가했다.
관련 문서
DDPM / DiT 확산 트랜스포머 / 변분 오토인코더 / VQGAN / GLIDE 이미지 생성 / 교차 어텐션