안내와 자연스러움
사용자의 색 획이나 합성 영상이 원하는 구조를 담더라도 그대로는 자연스러운 사진처럼 보이지 않을 수 있다. SDEdit는 입력 안내에 대한 충실도와 생성 결과의 자연스러움을 함께 고려한다. 확산 모형의 생성 사전 정보를 이용하는 접근이다.
잡음을 넣고 다시 제거하기
먼저 안내가 포함된 입력 이미지에 잡음을 더한다. 이후 확률미분방정식의 사전 정보로 반복적으로 잡음을 제거해 더 자연스러운 결과를 얻는다. 원래 이미지를 그냥 선명하게 만드는 필터와는 다른 확률적 생성 절차다.
과제별 재학습 없이 사용하기
개별 응용을 위한 별도 학습이나 역변환을 요구하지 않는다. 획 기반 합성과 편집, 이미지 합성 같은 작업을 다룬다. 같은 절차를 여러 과제에 쓸 수 있다는 사실만으로 수정하지 않을 영역이 항상 정확히 보존되는 것은 아니다.
안내의 세밀함과 결과
설명용으로 산의 대략적인 윤곽과 하늘의 색만 준다면 바위의 세부 무늬까지 입력에서 알 수는 없다. 자연스럽게 보이는 새 무늬가 원래 관측된 정보인 것은 아니다. 실제 입력이나 실험 결과를 옮기지 않은 안내 충실도의 범위에 대한 예다.
관련 문서
Null-text Inversion / InstructPix2Pix / Prompt-to-Prompt / FreeControl / ControlNet / IP-Adapter