배치를 남기고 내용을 바꾸기
안내 이미지의 장면 배치를 유지하면서 목표 텍스트에 맞게 결과를 바꾸는 문제다. 사전 학습 텍스트 이미지 확산 모형의 생성 능력을 이용한다. 원래 영상의 모든 픽셀을 고정하는 것과 의미적 배치를 보존하는 것은 다르다.
추출한 특징의 주입
모형 내부의 공간 특징과 자기 주의를 조작하면 생성 구조를 세밀하게 제어할 수 있다는 관찰을 이용한다. 안내 이미지에서 얻은 특징을 목표 이미지의 생성 과정에 직접 주입한다. 입력과 목표의 관계를 내부 표현 수준에서 연결하는 방향이다.
학습 없이 변환하기
추가 학습이나 미세 조정 없이 실제 이미지와 생성 이미지 모두를 안내로 사용할 수 있다. 스케치나 거친 그림의 사실적 변환, 물체 종류 및 외관 변화, 조명과 색 변경 등을 다룬다. 입력 유형마다 보존되는 정보의 범위는 달라질 수 있다.
윤곽과 질감의 독립 예
설명용으로 의자의 선 그림에서 사진 같은 결과를 만들면 대략적인 배치는 주어져도 나뭇결은 입력에 없을 수 있다. 생성된 세부가 원래 관측 정보라는 뜻은 아니다. 실제 논문 스케치나 생성 결과를 옮기지 않은 정보 범위의 예다.
관련 문서
DiffEdit / MasaCtrl / pix2pix-zero / Prompt-to-Prompt / Null-text Inversion / SDEdit