장면을 물체 단위로 보기
이미지 전체에 하나의 변화를 적용하는 대신 장면을 여러 물체의 구성으로 본다. 각 물체의 성질을 세밀하게 지정하는 것이 목표다. 같은 장면 안에서도 어느 물체를 어떤 방식으로 바꿀지 구별해 다룬다.
구조와 외관의 제어
편집에 유용한 속성으로 구조와 외관을 선택한다. 참조 이미지에 따른 외관 변경이나 자유로운 모양 편집, 물체 추가와 변형을 지원하는 방향이다. 속성을 분리해 지정하는 설계와 실제 결과에서 완전한 독립성이 얻어지는지는 구분해서 평가해야 한다.
참조와 텍스트를 함께 사용하기
기반 확산 모형에 적용할 때 참조 이미지와 문장을 함께 이용하도록 다중 모달 분류기 없는 안내를 제안한다. 별도 역변환 단계가 필요하지 않은 구성을 사용한다. 이 조건을 입력별 추가 계산이나 전체 생성 시간이 없다는 뜻으로 해석해서는 안 된다.
선택적 외관 변경의 독립 예
설명용으로 한 장면의 두 화분 중 오른쪽 화분만 도자기 질감으로 바꾸려는 경우를 생각할 수 있다. 왼쪽 화분의 질감과 두 물체의 위치가 유지되는지도 별도로 확인해야 한다. 실제 논문의 이미지나 설정을 옮기지 않은 물체별 제어의 예다.
관련 문서
ControlNet / GLIGEN / IP-Adapter / T2I-Adapter / DiffEdit / InstDiffEdit