이미지를 완벽하게 묘사하기 어렵다
실제 이미지를 편집할 때 모든 시각 세부를 정확한 문장으로 적기는 어렵다. 원하는 부분을 바꾸는 동안 다른 부분이 뜻밖에 달라지는 문제도 있다. pix2pix-zero는 이런 수작업 프롬프트 부담과 내용 변화를 줄이는 이미지 변환 접근이다.
자동으로 찾는 편집 방향
원하는 수정에 대응하는 방향을 텍스트 임베딩 공간에서 자동으로 찾는다. 입력 장면 전체를 사람이 완벽히 묘사한 문장에만 의존하지 않는 방향이다. 편집 목표가 없다는 뜻이 아니라 목표와 원래 내용의 표현 방식을 구분하는 것이다.
교차 주의 보존
확산 과정에서 입력 이미지의 교차 주의 맵을 유지하도록 안내해 일반적인 내용 구조를 보존하려 한다. 사전 학습 모형을 그대로 활용하며 편집별 추가 학습을 요구하지 않는다. 주의 구조 보존이 모든 픽셀의 불변성을 보장하지는 않는다.
변환과 주변 보존
설명용으로 도로의 자동차를 다른 종류의 차량으로 바꾸면서 차선과 건물은 유지하고 싶을 수 있다. 대상의 변화와 주변 구조 보존은 함께 만족해야 하는 목표다. 실제 논문의 입력과 출력, 편집 방향을 재현하지 않은 독립 예다.
관련 문서
MasaCtrl / Prompt-to-Prompt / Null-text Inversion / InstructPix2Pix / SDEdit / IP-Adapter