문장으로 지정하는 변환
이미지 생성 모형이 학습한 시각 표현과 텍스트 안내를 연결하는 접근이다. 주어진 이미지의 내용을 바탕으로 문장이 지시하는 변화를 생성한다. 입력을 그대로 복원하는 작업과 새로운 속성을 부여하는 작업은 구분해서 살펴봐야 한다.
역변환과 재생성
확산 모형의 이미지 역변환 및 생성 능력을 활용한다. 다양한 내용이나 학습 분포 밖의 영역을 변환하는 문제도 다룬다. 다만 역변환을 사용한다는 사실이 모든 이미지에서 손실 없는 복원이나 동일한 편집 품질을 보장하지는 않는다.
여러 속성의 조합
여러 속성을 함께 다루기 위한 잡음 결합 방법을 제시한다. 속성별 편집 효과를 합치는 것과 각 효과가 완전히 독립적으로 작동하는 것은 다르다. 하나의 변화가 다른 부분에 영향을 주는지 결과를 확인할 필요가 있다.
속성 간 간섭의 독립 예
설명용으로 물체의 재질을 금속으로 바꾸면서 조명을 부드럽게 하려는 경우를 생각할 수 있다. 반사와 음영이 함께 달라져 두 변화의 효과를 단순히 분리하기 어렵다. 이 예는 논문의 결과 이미지를 재현한 것이 아니라 복수 속성 편집을 해석하는 관점이다.
관련 문서
Imagic / CLIP / SDEdit / DiffEdit / pix2pix-zero / Prompt-to-Prompt