이미지로 전달하는 조건
세부 모양이나 느낌을 텍스트로만 표현하기 어려울 때 이미지가 제어 단서를 제공할 수 있다. IP-Adapter는 기존 텍스트 이미지 확산 모형이 이미지 프롬프트를 받아들이도록 하는 모듈이다. 이미지 전체를 그대로 복제하는 기능으로만 이해해서는 안 된다.
두 종류의 교차 주의
텍스트 특징과 이미지 특징에 대한 교차 주의 층을 분리하는 것이 핵심 설계다. 이미지 입력이 있어도 텍스트 입력과 함께 작동하도록 한다. 두 입력의 정보를 한 가지 조건으로 단순 대체하는 것과는 다르다.
기반 모형과의 관계
사전 학습 확산 모형을 고정한 채 어댑터를 사용한다. 같은 기반에서 미세 조정된 다른 사용자 모형과 기존 제어 도구로의 일반화도 다룬다. 같은 기반이라는 조건을 넘어 모든 구조의 체크포인트에 그대로 호환된다고 가정할 수는 없다.
두 입력이 주는 단서
설명용 이미지가 줄무늬 컵을 보여주고 텍스트가 나무 탁자 위의 장면을 요청할 수 있다. 이미지와 문장은 서로 다른 단서를 제공한다. 실제 모형이 어떤 세부를 얼마나 보존할지는 별도 검증이 필요하며 이 예는 논문의 입력이나 결과를 재현하지 않는다.
관련 문서
T2I-Adapter / ControlNet / GLIGEN / FreeControl / BoxDiff / Attend-and-Excite