전체 영상과 지역의 차이
CLIP의 전체 영상 표현이 텍스트와 잘 맞더라도 지역 표현이 똑같이 정렬되는 것은 아니다. 연구는 전체 영상에서 지역으로 옮길 때 나타나는 영역 변화를 밀집 예측의 문제로 분석했다.
스스로 만드는 학습 목표
밀집 특징 지도에서 추출한 지역 표현을 해당 영역을 잘라낸 영상의 전체 표현과 맞춘다. 모델의 기존 인식 능력으로 지역 표현을 개선하는 자기 증류 구성이다.
영역 텍스트 쌍 없이 적응하기
지역과 설명을 짝지은 자료를 따로 요구하지 않는 방식을 제시했다. 다만 원래 CLIP의 영상 텍스트 사전 학습을 활용하므로 언어 감독의 역사가 전혀 없는 모델은 아니다.
밀집 예측의 평가
논문은 개방 어휘 물체 탐지와 의미 분할, 파놉틱 분할에서 개선한 표현을 평가했다. 영상 전체의 분류 정확도와 지역 수준의 대응 능력을 별도로 살펴볼 필요를 보여 준다.
관련 문서
DenseCLIP / 마스크 적응 CLIP / CLIP / 자기 증류 / 물체 탐지 / 파놉틱 분할