편집 목적에 따라 역변환하기
입력 사진을 충실하게 재구성하는 것과 목표 문장으로 쉽게 바꾸는 것은 같은 목표가 아니다. TODInv는 수행하려는 편집 과제를 고려하며 역변환과 편집을 연결한다. 모든 수정에 동일한 조건 표현을 적용하는 문제를 다룬다.
층과 시간의 서로 다른 표현
확장된 프롬프트 공간에서 임베딩을 최적화한다. U-Net의 서로 다른 층과 시간 단계에 구분된 임베딩을 사용한다. 하나의 고정된 텍스트 벡터만으로 전체 과정을 설명하는 접근과 표현의 세분화 수준이 다르다.
과제별로 조정할 표현
계층적 편집 방식은 과제를 구조, 외관, 전역 편집으로 나눈다. 현재 편집 과제의 영향을 받지 않는 임베딩만 최적화하는 방식으로 역변환과 편집을 상호 연결한다. 이 선택의 목적은 보존과 변화 요구를 함께 다루는 데 있다.
평가 항목을 나누는 독립 예
설명용으로 벽지 색을 바꾸는 요청과 창문 위치를 옮기는 요청은 확인할 항목이 다르다. 전자는 위치 보존, 후자는 주변 구조의 자연스러운 연결이 중요할 수 있다. 실제 모형의 임베딩 배정 규칙을 재현한 예가 아니라 편집 목적을 나누는 관점이다.
관련 문서
Prompt Tuning Inversion / Null-text Inversion / Negative-prompt Inversion / Direct Inversion / Imagic / Prompt-to-Prompt