참조 이미지로 생성을 안내하기
텍스트만으로 정하기 어려운 시각 정보를 참조 이미지에서 가져오는 문제다. 사전 학습 텍스트 이미지 확산 모형을 이미지 변환에 이용한다. 결과가 참조와 얼마나 닮아야 하는지와 문장에 따라 무엇을 바꿀지를 함께 조절한다.
특징을 주파수로 분해하기
확산 특징을 이산 코사인 변환 공간에서 여러 주파수 대역으로 나눈다. 참조 이미지가 제공하는 안내 요인을 이 대역들로 분해하고, 대역 교체 층을 통해 생성 결과에 전달한다. 원본 픽셀의 일부분을 잘라 붙이는 방식과는 처리 대상이 다르다.
대역의 종류와 폭
교체할 대역의 종류로 안내 요인을, 대역의 폭으로 안내 강도를 조절하는 방향이다. 모형 학습이나 미세 조정, 온라인 최적화를 추가하지 않는다. 다만 제어 설정이 있다는 사실만으로 모든 의미 속성이 완전히 분리되어 조절된다고 볼 수는 없다.
공간 범위와의 차이
설명용으로 특정 주파수 대역을 선택하는 것은 사진 왼쪽의 직사각형을 선택하는 것과 다르다. 넓은 영역의 변화나 세부 패턴이 주파수 표현에 함께 나타날 수 있다. 이 예는 실제 대역 설정값이나 연구 결과를 재현한 것이 아니라 두 선택 방식의 차이를 설명한다.
관련 문서
PnP 확산 특징 / DiffEdit / ControlNet / T2I-Adapter / IP-Adapter / MasaCtrl