분류 지식에서 밀집 예측으로
영상 전체의 텍스트 대응에 유용한 사전 학습 지식을 더 세밀한 시각 과제로 옮기는 문제를 다룬다. 전체 영상 한 개의 예측과 여러 위치의 출력을 만드는 일은 요구가 다르다.
픽셀과 텍스트의 점수
CLIP의 영상 텍스트 일치 문제를 픽셀 텍스트 일치로 변환한다. 얻은 점수 지도를 밀집 예측 모델의 학습을 안내하는 정보로 사용한다.
문맥을 반영하는 프롬프트
영상에서 얻은 문맥 정보로 언어 모델에 프롬프트를 제공한다. 이를 통해 사전 학습된 지식을 현재 입력의 밀집 예측에 더 잘 활용하려 한다.
적용과 평가
논문은 CLIP 및 ImageNet 사전 학습 백본을 비롯한 여러 구성을 검토했다. 의미 분할뿐 아니라 탐지와 인스턴스 분할에서도 평가해 프레임워크의 적용 범위를 살폈다.