조건의 구조와 이미지의 외관
윤곽 같은 조건 이미지는 자연스러운 RGB 사진과 표현이 크게 다르다. 특징을 주입할 때 이 차이 때문에 구조가 어긋나거나 조건의 표현이 결과에 새어 나올 수 있다. 조건을 따르는 것과 자연스러운 외관을 만드는 요구를 함께 고려해야 한다.
주입 일정의 분리
확산 단계마다 구조 보존과 영역 정렬의 관계가 달라진다는 점에 주목한다. 조건 특징의 샘플링 일정을 잡음 제거 과정에서 분리하고 다양한 주입 일정을 탐색한다. 조건 특징의 내용뿐 아니라 어느 시점에 어떻게 사용하는지를 제어하는 방향이다.
정제와 외관 보완
재시작 정제 일정과 외관을 풍부하게 하는 프롬프트 전략을 도입한다. 추가 학습 없는 구성으로 여러 조건의 조합과 다양한 생성 기반에 적용하는 것을 다룬다. 학습이 없다는 사실과 처리 단계나 계산 비용이 없다는 뜻은 구분해야 한다.
조건 누출의 독립 예
설명용으로 건물 윤곽을 따르도록 한 사진에 원래 선 그림의 검은 획이 그대로 남을 수 있다. 위치가 맞더라도 결과의 재질과 외관이 자연스러운지는 별도 항목이다. 실제 실험 이미지를 옮기지 않은 구조 일치와 조건 누출의 차이에 대한 예다.
관련 문서
ControlNet / PnP 확산 특징 / FreeControl / FBSDiff / DynamicControl / T2I-Adapter