학습 크기 밖의 이미지 만들기
사전 학습 이미지 생성 모형은 제한된 크기와 화면비에 맞추어져 있을 수 있다. 단순히 출력 크기를 바꾸면 전체 구성이 일관되지 않을 수 있다. ElasticDiffusion은 모형의 생성 과정을 전역과 지역의 두 신호로 다루는 디코딩을 제안한다.
지역 패치의 역할
지역 신호는 낮은 수준의 픽셀 정보를 제어하며 작은 패치에서 추정할 수 있다. 큰 화면의 모든 부분을 하나의 패치처럼 처리할 필요를 줄이는 방향이다. 다만 개별 패치가 자연스럽다는 사실만으로 화면 전체의 구조가 자연스럽다는 뜻은 아니다.
전체 구조의 역할
전역 신호는 참조 이미지를 통해 추정해 전체 구조의 일관성을 유지한다. 지역의 세부와 전역의 구성을 나누어 사용하는 것이 핵심이다. 추가 학습 없이 다양한 크기를 다루는 방법이지 생성 비용이 해상도와 무관하다는 주장은 아니다.
국소 일관성의 독립 예
설명용으로 넓은 복도 그림의 각 패치에는 자연스러운 창문이 있지만 패치마다 소실점이 다를 수 있다. 이때 세부의 선명도와 별개로 전체 원근이 어긋난다. 실제 생성 사례를 옮기지 않은 지역과 전역 평가의 차이를 보여 주는 예다.
관련 문서
MultiDiffusion / 조합 가능 확산 모형 / ControlNet / GLIGEN / FBSDiff / RPG 이미지 생성