간단한 선으로 의도 전달하기
문장과 상자 또는 영역 마스크만으로는 물체 방향을 세밀하게 지정하기 어려울 수 있다. 간단한 선은 사용자가 원하는 공간 형태를 더 직접적으로 나타내는 단서다. ScribbleDiff는 이를 확산 이미지 생성의 시각 프롬프트로 사용한다.
희소한 입력의 어려움
스크리블은 채워진 물체 마스크와 달리 매우 적은 픽셀에만 정보가 있다. 가늘고 드문 선을 그대로 이용하면 생성 물체의 방향을 정확히 맞추기 어렵다. 선이 지나가는 위치와 물체 전체가 차지하는 범위도 동일하지 않을 수 있다.
정렬과 전파
모멘트 정렬과 스크리블 전파를 도입해 생성 결과와 입력 선의 정렬을 돕는다. 추가 학습 없이 공간 제어와 일관성을 다루는 접근이다. 이 절차가 있다는 사실만으로 선에서 주어지지 않은 외관까지 유일하게 정해지는 것은 아니다.
방향 단서의 독립 예
설명용으로 오른쪽 위로 뻗은 짧은 선이 꽃줄기의 방향을 나타낼 수 있다. 그러나 선만으로 꽃잎 수나 표면 질감까지 확정되지는 않는다. 실제 평가 자료를 재현하지 않은 방향 제어와 세부 생성의 정보 차이에 대한 예다.
관련 문서
ControlNet / BoxDiff / GLIGEN / 교차 주의 배치 안내 / Motion Guidance / FreeControl