참조 이미지가 뜻하는 것
한 장의 사진에는 대상의 형태, 배경, 색감, 촬영 양식이 함께 들어 있다. 이를 조건으로 주었을 때 무엇을 가져올지 명확하지 않을 수 있다. 참조가 같아도 원하는 결과에 따라 필요한 정보는 달라진다.
지시문으로 해석 바꾸기
자연 이미지 조건과 작업 지시문을 결합해 참조의 해석을 전환한다. 양식만 옮길지, 대상을 추출할지, 이들을 함께 사용할지 등을 구분하는 방향이다. 참조 이미지 하나가 항상 한 가지 고정된 의미로만 쓰이는 구성을 확장한다.
하나의 구성에서 여러 작업
작업마다 별도 어댑터를 학습하고 교체하는 부담을 줄이기 위해 복수 작업을 학습한다. 여러 작업을 한 구성에 담는 것과 모든 작업에서 전용 모형과 완전히 같은 결과를 내는 것은 다르다. 지시문의 해석과 실제 결과를 함께 확인해야 한다.
참조 해석의 독립 예
설명용으로 수채화로 그린 주전자를 참조로 준다고 하자. 수채화 느낌만 가져오는 요청과 주전자 형태를 가져오는 요청은 다르다. 실제 연구 이미지를 재현하지 않은 예이며 한 이미지가 제공하는 여러 종류의 단서를 구별한다.
관련 문서
IP-Adapter / T2I-Adapter / PAIR-Diffusion / FBSDiff / ControlNet / InstructPix2Pix