특징 대신 대응 점수의 결합
영상과 텍스트의 임베딩 사이 코사인 유사도를 비용 볼륨으로 다룬다. 이 대응 점수들을 집계해 각 픽셀의 의미 범주를 추정하는 비용 기반 접근이다.
모달 간 구조를 고려하기
비용 볼륨은 영상 쪽 정보와 텍스트 쪽 정보의 관계로 만들어진다. 연구는 이러한 다중 모달 성격을 반영해 볼륨을 효과적으로 집계하는 방법을 살펴봤다.
CLIP의 분할 적응
인코더를 미세 조정해 이미 본 범주와 보지 못한 범주의 분할에 적응시키는 방식을 제시했다. 기반 표현을 그대로 고정하는 접근과는 학습 범위가 다르다.
효율과 일반화의 분석
논문은 CLIP을 효율적으로 미세 조정하는 여러 방법도 검토했다. 학습한 범주에 대한 성능과 새로운 범주의 성능을 구분하고, 어떤 인코더 부분을 조정했는지 함께 살펴야 한다.
관련 문서
마스크 적응 CLIP / SAN 개방 어휘 분할 / CLIP / 코사인 유사도 / 영상 분할 / 미세 조정