같은 물체로 다른 배치 만들기
이미지의 물체를 보존하면서 위치 구성을 바꾸는 문제다. 새 장면을 임의로 생성하는 것과 달리 원래 물체의 시각적 특징을 유지하는 요구가 있다. 한 이미지에 대해 연속적으로 편집하는 사용 방식을 목표로 한다.
물체별 개념을 나누기
마스크 텍스트 역변환으로 서로 다른 물체의 개념을 분리하고 각기 다른 텍스트 토큰에 담는다. 하나의 토큰에 여러 대상을 뒤섞는 대신 제어할 대상을 구별하는 표현을 마련한다. 이 개념 학습과 이후 배치 제어는 서로 다른 역할을 맡는다.
지정한 배치에 맞추기
학습한 개념을 사용해 이미지를 다시 생성하고 사용자 배치에 정렬한다. 배치 제어에는 사전 학습 확산 모형을 위한 추가 학습 없는 최적화 방식을 제안한다. 이 조건을 앞선 개념 표현 단계까지 학습이 전혀 없다는 뜻으로 확대해서는 안 된다.
가림 관계의 독립 예
설명용으로 접시 뒤에 있던 작은 컵을 앞으로 옮기면 이전에 가려진 컵 표면이 드러날 수 있다. 위치 조건을 맞추는 것 외에 새 표면과 그림자의 일관성도 확인해야 한다. 실제 연구의 결과를 사용하지 않은 배치 편집의 예다.
관련 문서
GLIGEN / Motion Guidance / PAIR-Diffusion / MasaCtrl / Prompt-to-Prompt / ControlNet