무엇을 어디서 바꿀지 찾기
문장에 등장하는 대상이 이미지의 어느 영역에 해당하는지 찾는 문제를 다룬다. 의미를 맞게 이해해도 영역이 어긋나면 주변까지 바뀔 수 있다. DCEdit는 편집 대상의 의미를 정확히 위치시키는 전략을 제안한다.
주의 정보의 결합
시각 자기 주의와 텍스트 자기 주의를 활용해 교차 주의 지도를 개선한다. 이 지도는 편집에 필요한 지역 단서로 사용된다. 단일 단어의 주의값만 보고 대상 경계가 항상 정확하다고 해석하는 것은 피해야 한다.
두 수준의 지역 제어
지역 단서를 특징과 잠재 표현 두 수준에 반영하는 제어 방식을 사용한다. RW-800은 고해상도 실제 이미지, 긴 설명문, 텍스트 편집 과제를 포함하는 평가 구성으로 제안되었다. 입력의 복잡성과 배경 보존을 함께 살펴볼 필요가 있다.
대상 구별의 독립 예
설명용으로 비슷한 두 상자가 있는 사진에서 손잡이가 달린 상자만 바꾸라는 요청을 생각할 수 있다. 상자라는 범주를 찾는 것과 추가 조건으로 둘 중 하나를 구별하는 것은 다르다. 실제 평가 사례를 옮기지 않은 의미 위치 선택의 예다.
관련 문서
InstDiffEdit / DiffEdit / PAIR-Diffusion / Prompt-to-Prompt / MasaCtrl / TODInv