편집 도중 영역을 선택하기
확산 이미지 편집에서 마스크는 어느 부분을 바꿀지 제어한다. 사람이 직접 그리거나 별도 처리로 준비하면 편집 밖의 작업이 늘어날 수 있다. InstDiffEdit는 확산 단계 안에서 마스크 안내를 얻는 방향을 제안한다.
주의 분포의 정제
이미지와 텍스트를 연결하는 모형의 주의 능력을 이용한다. 주의 지도에 섞인 잡음을 줄이기 위해 학습 없는 정제 절차로 분포를 적응적으로 집계한다. 주의가 높은 영역과 사용자가 의도한 정확한 경계가 항상 일치한다고 가정하지는 않아야 한다.
마스크와 결과의 별도 평가
Editing-Mask는 마스크 정확도와 지역 편집 능력을 확인하기 위한 평가 구성이다. 원하는 영역을 잘 골라도 생성된 질감이 부자연스러울 수 있다. 반대로 결과가 보기 좋아도 요청하지 않은 주변을 크게 바꾸었다면 지역 편집의 목적과 어긋날 수 있다.
경계 오차의 독립 예
설명용으로 가방의 겉면만 편집할 때 손잡이나 뒤쪽 벽까지 마스크에 포함될 수 있다. 겉면 중앙이 정확하더라도 경계의 작은 오류가 결과에 드러날 수 있다. 실제 실험 실패를 인용한 사례가 아니라 영역 정확도와 결과 품질을 구분하는 예다.
관련 문서
DiffEdit / Direct Inversion / InstructPix2Pix / Prompt-to-Prompt / PnP 확산 특징 / MasaCtrl