분류와 위치 이해의 차이
영상 전체와 텍스트를 정렬한 CLIP은 픽셀 단위 위치를 정확하게 드러내는 데 어려움이 있을 수 있다. SCLIP은 밀집 예측에서 시각 특징의 위치 대응을 개선하려는 연구다.
상관 자기 어텐션
기존 마지막 자기 어텐션 블록을 CSA 모듈로 교체한다. 질의끼리와 키끼리의 유사도를 활용해 어텐션 점수를 구성하는 방식이다.
기존 투영의 재사용
사전 학습된 질의, 키, 값의 투영 행렬을 그대로 재사용한다. 분할에 새로 적응하는 단계에서 학습을 하지 않는 것이며, 원래 CLIP의 사전 학습까지 없는 것은 아니다.
제로샷 평가
논문은 여덟 의미 분할 벤치마크에서 평균 성능을 비교했다. 평균 점수의 개선과 각 자료의 개별 결과는 구분해서 봐야 하며, 특정 시점의 비교가 영구적인 순위를 뜻하지는 않는다.