전체 의미에서 공간 배치로
CLIP의 영상 분류 능력을 픽셀 분할에 사용하려면 대상의 의미뿐 아니라 어느 위치에 있는지도 알아야 한다. CLIPer는 영상 표현의 공간 정보를 계층적으로 개선하는 방식으로 이 차이를 다룬다.
초기 층 융합
모델 초기 층의 임베딩과 어텐션 지도에 남아 있는 공간 구조를 활용한다. 초기 층 융합 모듈로 이를 결합해 같은 영역의 예측이 공간적으로 일관되도록 분할 지도를 만든다.
국소 세부 정보 보상
다음 단계는 확산 모델의 셀프 어텐션 지도로 국소적인 세부 정보를 보완한다. 영상 생성 결과를 정답으로 사용하는 설명과는 구분되며, 별도 사전 학습 모델에서 얻은 내부 정보를 이용한다.
추가 학습과 계산 비용
추가 학습 없이 분할하는 설정에서 일곱 자료로 평가했다. 학습을 새로 하지 않더라도 사전 학습 모델과 특징 추출 계산은 필요하므로 처리 비용이 없다는 뜻은 아니다.