단어보다 구체적인 위치 제어
문장만으로 물체의 위치나 자세, 형태를 정확히 지정하기는 어렵다. 이 방법은 각 픽셀이 어디로 이동해야 하는지를 이동장으로 표현한다. 단순히 장면을 다른 양식으로 바꾸는 요청보다 공간 변화에 직접적인 조건을 준다.
흐름 추정망을 통한 안내
기존 광학 흐름 추정망을 거쳐 계산한 기울기로 확산 샘플링을 조절한다. 안내 손실은 추정된 이동이 지정한 이동에 가까워지도록 하면서 원본과의 시각적 유사성도 고려한다. 생성 모형에서 샘플을 얻는 과정과 이 안내를 함께 수행한다.
추정과 실제 변화
흐름망이 추정하는 이동과 사람이 보는 자연스러운 변형을 함께 확인해야 한다. 흐름 조건을 만족하는 정도만으로 모든 가려짐이나 표면 변화가 올바르다고 단정할 수 없다. 새로 드러나는 부분은 원본에 충분한 정보가 없을 수도 있다.
이동장의 독립 계산
설명용 좌표 (4, 7)에 이동 벡터 (3, -2)를 지정하면 목표 좌표는 (7, 5)다. 이는 한 점의 계산이며 물체 전체의 일관된 변형을 보장하는 조건은 아니다. 실제 모형의 좌표 단위나 설정을 사용한 예는 아니다.
관련 문서
광학 흐름 / MasaCtrl / ControlNet / GLIGEN / Direct Inversion / Imagic