텍스트 표현의 활용
텍스트만으로 사전 학습한 T5 같은 언어 모형을 이미지 합성의 문장 인코더로 활용한다. 이미지 생성에 필요한 조건 표현을 얻는 역할과 확산 생성의 역할을 결합한다.
규모를 늘리는 위치
원 연구는 이미지 확산 모형을 키우는 것과 언어 모형을 키우는 것을 비교했다. 해당 실험에서는 언어 모형의 확대가 표본 충실도와 문장 일치도에 더 큰 효과를 보였다.
복합 조건의 평가
텍스트 기반 이미지 생성 능력을 더 자세히 살피기 위해 DrawBench를 도입했다. 표본 품질과 텍스트 일치도를 사람의 나란한 비교로 평가했으며, 논문 당시의 모형 비교와 현재 서비스의 성능은 구분한다.
관련 문서
CLIP 잠재 표현의 계층 생성 / GLIDE 이미지 생성 / 잠재 확산 모형 / 분류기 없는 확산 안내 / T5 / DDPM