조금 바꿨는데 전부 달라질 때
생성 프롬프트를 조금 수정해도 결과 전체가 크게 달라지면 편집에 불편하다. 편집은 바꾸려는 부분 외의 원래 내용을 보존하는 것이 중요하다. Prompt-to-Prompt는 텍스트만으로 편집하면서 이런 구조 관계를 제어하는 접근이다.
단어와 공간 배치
교차 주의 층이 이미지의 공간 배치와 프롬프트 단어 사이의 관계를 조절하는 핵심이라는 관찰을 이용한다. 문장 수정과 함께 교차 주의를 제어해 생성 과정을 안내한다. 문장을 새로 넣고 독립적으로 다시 생성하는 것과 다르다.
세 가지 조작
단어를 바꿔 지역적인 편집을 하거나 설명을 더해 전체적인 편집을 할 수 있다. 특정 단어가 이미지에 반영되는 정도도 조절한다. 조작의 종류와 강도에 따라 원래 구조 보존과 요청 반영 사이의 관계가 달라질 수 있다.
수정 범위의 독립 예
설명용으로 탁자 위의 주전자 문장에서 주전자를 꽃병으로 바꾸더라도 탁자와 배경은 유지하고 싶을 수 있다. 대상 교체와 주변 보존이라는 두 목표를 보여준다. 실제 논문의 입력 문장이나 생성 결과를 옮기지 않은 편집 목적의 예다.
관련 문서
InstructPix2Pix / Attend-and-Excite / 구조화 확산 안내 / ControlNet / IP-Adapter / FreeControl