편집 전에 원본을 표현하기
실제 사진을 확산 모형으로 편집하려면 원본의 내용을 생성 과정에서 다시 표현할 수 있어야 한다. 이 단계에서 정보가 달라지면 요청하지 않은 배경이나 형태까지 변할 수 있다. 역변환은 이후 편집의 출발점을 마련한다.
최적화 비용을 줄이는 접근
재구성에 필요한 표현을 반복 최적화하는 방식은 준비 시간이 늘어날 수 있다. 이 방법은 최적화 없이 순전파만으로 역변환을 수행하는 방향을 제안한다. 빠른 준비가 목표이지만 모든 입력에서 같은 시간이 걸린다는 의미는 아니다.
시간과 샘플링 단계
역변환 계산이 줄면 샘플링 단계를 더 사용하는 선택도 가능하다. 이때 단계 증가에 따른 재구성 개선과 추가 시간을 함께 살펴봐야 한다. 기기나 해상도, 구현 조건을 제외한 단일 시간 수치로 서비스 속도를 판단하기는 어렵다.
전체 지연의 독립 계산
설명용 시스템에서 준비가 9초, 생성이 6초라면 합계는 15초다. 준비를 3초로 줄여도 생성이 같으면 전체는 9초가 된다. 준비 단계의 세 배 개선을 전체 세 배 개선으로 계산하면 안 된다. 실제 연구의 측정값을 사용한 예는 아니다.
관련 문서
Prompt Tuning Inversion / Null-text Inversion / Imagic / DiffusionCLIP / DiffEdit / SDEdit