추가 학습 없는 위치 추정
이미지 수준 범주 레이블과 CLIP의 제로샷 능력으로 객체 위치를 찾는 가능성을 조사했다. GradCAM에 소프트맥스를 도입해 목표가 아닌 범주와 배경의 혼동을 억제하도록 한다.
텍스트 입력의 구성
선명도 기반의 프롬프트 선택과 동의어 융합을 제안했다. 약한 감독 분할에서 텍스트 입력이 위치 지도에 미치는 영향을 고려한 전략이다.
어텐션 친화도의 정제
CLIP 비전 트랜스포머의 다중 헤드 자기 어텐션을 이용해 범주를 고려한 친화도 모듈을 구성한다. 이를 통해 초기 클래스 활성화 지도를 정제한다.
최종 분할 모델의 학습
CLIP이 만든 마스크로 별도의 분할 모델을 학습할 때는 신뢰도가 높은 영역에 집중하는 손실을 사용한다. PASCAL VOC 2012와 MS COCO 2014에서 마스크 생성과 최종 분할 결과를 평가했다.