지시를 따라 편집하기
사용자는 결과 장면 전체를 다시 묘사하기보다 무엇을 바꿀지 지시할 수 있다. InstructPix2Pix는 입력 이미지와 이런 문장을 받아 편집한다. 원래 영상의 맥락과 수정 요구를 함께 이해하는 문제다.
생성한 편집 자료
GPT-3와 Stable Diffusion의 지식을 결합해 이미지 편집 예제 자료를 만든다. 이 자료로 조건부 확산 모형을 학습한다. 사용 중에 매번 두 원래 모형으로 새 학습 자료를 생성해야 한다는 뜻은 아니다.
사용 시의 처리
학습한 모형은 실제 이미지와 이용자가 작성한 지시로 일반화하는 것을 목표로 한다. 이미지마다 따로 미세 조정하거나 역변환하는 과정 없이 추론으로 편집한다. 이런 절차적 간소화와 모든 세부의 정확한 보존은 별도 조건이다.
원하는 변화와 남겨둘 것
설명용 지시가 방의 조명을 따뜻하게 바꾸기라면 가구 배치는 남기고 빛의 느낌을 바꾸고 싶을 수 있다. 전체 장면의 내용을 새로 생성하는 요구와 다르다. 실제 학습 예제나 모델 출력을 재현하지 않은 편집 범위의 설명이다.
관련 문서
Prompt-to-Prompt / IP-Adapter / ControlNet / FreeControl / T2I-Adapter / GLIGEN