어디를 바꿀지 찾기
의미 편집은 문장에 맞게 바꾸면서 주어진 입력과 가능한 한 비슷한 결과를 유지해야 한다. 사람이 영역 마스크를 지정하면 과제가 쉬워지지만 추가 작업이 필요하다. DiffEdit는 수정 영역을 자동으로 찾는 문제를 다룬다.
조건별 예측의 비교
서로 다른 텍스트 프롬프트를 조건으로 한 확산 모형의 예측을 대조한다. 차이를 이용해 바꿀 필요가 있는 영역을 강조하는 마스크를 생성한다. 이는 문장과 무관하게 영상의 모든 변화가 필요한 곳을 정확히 아는 절차는 아니다.
잠재 추론과 보존
잠재 추론을 이용해 입력 내용의 보존을 돕고 마스크 기반 확산과 결합한다. 실제 사진과 텍스트로 생성한 이미지의 의미 편집을 평가한다. 마스크가 자동이라는 사실과 수정하지 않을 부분이 완벽하게 동일하다는 보장은 구분해야 한다.
자동 영역의 독립 예
설명용으로 작은 꽃의 색만 바꾸려는데 그림자까지 수정 영역으로 선택될 수 있다. 반대로 꽃잎 일부가 마스크에서 빠질 수도 있다. 실제 실험 실패 사례를 옮기지 않은 자동 영역 선택과 편집 품질의 관계에 대한 예다.
관련 문서
PnP 확산 특징 / InstructPix2Pix / Prompt-to-Prompt / Null-text Inversion / pix2pix-zero / MasaCtrl