한 장에서 시작하는 편집
입력 사진의 정체성을 유지하면서 문장으로 지정한 변화를 만드는 문제를 다룬다. 물체의 색만 바꾸는 경우뿐 아니라 형태나 자세가 달라지는 비강체 편집도 목표에 포함한다. 별도 마스크나 다른 시점의 사진을 요구하지 않는다.
이미지에 맞는 표현
입력 이미지와 목표 문장 양쪽에 연결되는 텍스트 임베딩을 구한다. 이어 확산 모형을 입력 이미지의 외관에 맞추어 미세 조정한다. 따라서 매번 추가 학습 없이 수행하는 편집 방식과는 준비 과정이 다르다.
보존과 변화의 관계
원본의 외관을 충실히 나타내는 것과 새로운 구조를 만드는 것은 서로 다른 요구다. 입력을 잘 재현하더라도 목표 변화까지 자연스럽게 이루어진다고 단정할 수 없다. 변화의 크기에 따라 배경이나 세부 무늬가 함께 달라지는지도 확인해야 한다.
관측되지 않은 부분의 독립 예
설명용으로 접힌 커튼을 펼친 모습으로 바꾼다고 하자. 가려졌던 천의 무늬는 원본에 보이지 않으므로 결과의 무늬를 실제 관측값으로 취급할 수 없다. 이는 실제 실험 결과를 인용한 사례가 아니라 이미지 편집의 정보 범위를 설명하는 예다.
관련 문서
DiffusionCLIP / SDEdit / Null-text Inversion / InstructPix2Pix / DiffEdit / PnP 확산 특징