가린 영상의 인식 문제
클래스와 무관한 마스크를 만든 뒤 CLIP으로 영역을 분류하는 구성은 가려진 영상에서의 CLIP 인식이 병목이 될 수 있다. 이 연구는 영역 자체보다 이를 분류하는 모델의 적응을 다룬다.
영역과 캡션을 맞추기
기존 영상 캡션 자료에서 CLIP으로 마스크 영역과 명사를 대응시켜 학습 쌍을 모은다. 정밀한 고정 범주 주석과 달리 잡음은 있어도 다양한 개념을 포함하는 자료를 활용한다.
빈 영역을 사용하는 프롬프트
마스크 영상의 빈 부분을 활용하는 마스크 프롬프트 조정을 제안했다. CLIP 가중치를 바꾸지 않는 설정에서도 개선을 보고했으며 전체 미세 조정과 함께 적용하는 경우도 평가했다.
학습과 평가의 구분
논문에는 COCO로 학습하고 ADE20K로 평가하는 설정이 포함된다. 마스크 프롬프트만 학습한 경우와 전체 모델을 미세 조정한 경우는 학습 범위가 다르므로 결과를 나누어 봐야 한다.
관련 문서
SAN 개방 어휘 분할 / CAT-Seg / CLIP / 영상 분할 / 미세 조정 / 전이 학습