실제 사진의 유연한 변화
한 장의 이미지에 문장으로 복잡한 변화를 지정하는 문제를 다룬다. 색이나 양식의 변경뿐 아니라 자세처럼 형태가 달라지는 편집도 대상으로 삼는다. 다른 시점의 입력 사진을 추가로 모으지 않는 구성을 제안한다.
입력별 학습을 생략하기
공개된 사전 학습 텍스트 이미지 확산 모형을 활용한다. 입력이나 과제마다 모형을 미세 조정하거나 표현을 최적화하는 준비를 요구하지 않는다. 학습을 생략하는 조건과 추론 자체에 계산이 들지 않는다는 주장은 서로 다르다.
편집 강도의 조절
여러 설정값을 통해 변화의 종류와 범위를 조절하는 방향이다. 원래 대상의 정체성, 장면의 일관성, 목표 문장 반영은 각각 확인할 항목이다. 어느 한 항목의 충족만으로 나머지도 자동으로 충족된다고 볼 수 없다.
변화 범위의 독립 예
설명용으로 탁자 사진의 배경만 정원으로 바꾼다고 하자. 탁자 모양이 남아 있어도 기존 실내 조명이 그대로면 새 배경과 어울리지 않을 수 있다. 반대로 조명까지 바꾸면 보존되는 픽셀은 줄어든다. 실제 연구의 결과를 옮기지 않은 평가 관점의 예다.
관련 문서
Negative-prompt Inversion / Prompt Tuning Inversion / Null-text Inversion / Imagic / DiffusionCLIP / SDEdit