재구성을 위한 조건 학습
먼저 입력 이미지의 정보를 조건 임베딩에 담는다. 이미지를 다시 생성하는 데 적합한 표현을 학습해 이후 편집의 기준으로 사용한다. 모형의 모든 가중치를 입력별로 바꾸는 것과 조건 표현을 조정하는 것은 구분해야 한다.
목표 문장과 연결하기
편집 단계에서는 앞서 얻은 최적화 임베딩과 목표 텍스트의 임베딩을 선형 보간한다. 이 조건을 사용해 분류기 없는 안내로 결과를 샘플링한다. 원본을 나타내는 조건과 바꾸려는 내용을 나타내는 조건을 연결하는 구조다.
보간 비율을 읽는 법
설명용 두 차원 표현에서 원본 쪽이 (2, 0), 목표 쪽이 (0, 2)라면 중간점은 (1, 1)이다. 실제 모형의 차원이나 설정을 뜻하는 값은 아니다. 표현의 중간점이 이미지의 물리적 변화를 정확히 절반으로 만든다는 보장도 없다.
충실도와 편집의 평가
원본에 가까운 재구성과 요청을 충분히 반영한 편집을 함께 확인해야 한다. 변화가 약한 결과는 원본과 비슷해도 편집 목적을 달성하지 못할 수 있다. 반대로 목표 속성이 나타났더라도 요청하지 않은 부분이 크게 달라졌다면 보존 관점의 평가가 필요하다.
관련 문서
Negative-prompt Inversion / Null-text Inversion / Prompt-to-Prompt / Imagic / DiffEdit / InstructPix2Pix