실제 영상을 생성 공간으로
생성 모형 안에서 만든 이미지의 편집 기법을 실제 사진에 적용하려면 사진을 적절한 생성 상태에 대응시켜야 한다. Null-text Inversion은 의미 있는 프롬프트와 함께 실제 이미지를 사전 학습 모형의 영역으로 역변환하는 문제를 다룬다.
기준 궤적 주위의 최적화
시간마다 하나의 기준 잡음 벡터를 사용하고 그 주위에서 최적화한다. 직접 역변환만으로는 부족할 수 있지만 좋은 기준점을 제공할 수 있다는 관찰을 이용한다. 목표 이미지를 재구성하는 문제와 수정이 가능한 표현을 얻는 문제를 함께 고려한다.
무조건 임베딩을 바꾸기
분류기 없는 안내에 쓰이는 무조건 텍스트 임베딩만 수정한다. 입력 조건 임베딩과 모형 가중치는 그대로 둔다. 따라서 전체 생성 모형 가중치를 이미지마다 미세 조정하는 접근과는 다른 최적화다.
재구성과 편집의 독립 예
설명용으로 원래 빨간 우산을 정확히 되살리는 것과 배경을 유지하며 우산만 초록으로 바꾸는 것은 다른 목표다. 역변환 오차가 작아도 편집이 쉬운지는 따로 살펴야 한다. 실제 논문 이미지나 지시를 재현하지 않은 두 목표의 예다.
관련 문서
SDEdit / Prompt-to-Prompt / InstructPix2Pix / IP-Adapter / FreeControl / ControlNet