픽셀 밖에서 제어하기
사전 학습 생성 모형이 의미 있는 잠재 공간을 가질 때 그 표현의 이동을 제어하는 방향이다. 이미지를 직접 고치는 대신 잠재 표현 생성에서 비선형 탐색을 수행한다. 어떤 잠재 구조를 가진 생성 모형인지가 적용 조건에 포함된다.
분류기와 확산 모형의 학습
잠재 확산 모형과 보조 잠재 분류기를 학습해 조건에 따른 생성을 돕는다. 특정 사전 학습 생성기 하나에만 묶이지 않는 구성을 목표로 한다. 이를 추가 학습이 전혀 없는 조작 방법으로 소개해서는 안 된다.
원래 의미를 유지하기
변경 과정에서 기존 의미를 보존하도록 별도의 안내 항을 도입한다. 추가 가정 아래 비선형 조작이 단순한 잠재 산술로 줄어드는 관계도 분석한다. 이 제한된 관계를 모든 잠재 편집이 선형 벡터 덧셈과 같다는 뜻으로 확대하면 안 된다.
순차 변경의 독립 예
설명용으로 물체의 색을 바꾼 뒤 형태를 바꾸었을 때 첫 번째 색 변화가 남아 있는지 확인할 수 있다. 각각의 조작이 따로 잘되는 것과 연속 적용해도 원하는 성질을 유지하는 것은 다르다. 실제 연구의 결과를 인용하지 않은 조합 평가의 예다.
관련 문서
에너지 기반 확산 조합 / 조합 가능 확산 모형 / Att-Adapter / DiffusionCLIP / Imagic / 확산 모형