자세가 달라도 같은 대상
같은 물체나 인물을 다른 자세와 시점으로 생성하면서 외관을 유지하기는 어렵다. 복잡한 비강체 편집에서도 전체 질감과 정체성이 달라질 수 있다. MasaCtrl은 일관된 생성과 이런 편집을 함께 다루는 방법이다.
원본의 내용 질의하기
확산 모형의 기존 자기 주의를 상호 자기 주의로 바꾼다. 원본 이미지에서 관련 있는 지역 내용과 질감을 질의해 일관성을 높이려는 구성이다. 원본과 수정 이미지의 대응을 활용하는 역할을 한다.
전경과 배경 혼동 줄이기
전경과 배경을 질의할 때 생길 수 있는 혼동을 줄이기 위해 마스크 안내 상호 자기 주의를 제안한다. 마스크는 교차 주의 맵에서 추출할 수 있다. 자동 마스크의 오류도 결과에 영향을 줄 수 있으므로 영역 대응을 함께 살펴야 한다.
비강체 편집의 독립 예
설명용으로 접힌 천을 펼 때 무늬가 같은 천으로 보이면서 모양은 달라져야 한다. 모든 픽셀을 같은 위치에 고정하는 것만으로 해결할 수 없는 목표다. 실제 생성 사례나 모델 출력이 아닌 형태 변화와 질감 보존의 관계를 설명하는 예다.
관련 문서
pix2pix-zero / Prompt-to-Prompt / Null-text Inversion / InstructPix2Pix / IP-Adapter / FreeControl