각 모달의 지식만 옮기지 않기
언어와 영상의 사전 학습 모델을 따로 활용하면 둘 사이에 이미 배운 대응 정보를 놓칠 수 있다. CRIS는 CLIP의 다중 모달 지식을 지시 영상 분할에 함께 전이하려 한다.
픽셀로 전달하는 문장 의미
시각 언어 디코더가 텍스트 표현의 세밀한 의미 정보를 픽셀 수준의 활성에 전달한다. 문장의 내용과 관련된 지역이 일관된 표현을 갖도록 만드는 과정이다.
텍스트 픽셀 대조 학습
텍스트 특징은 관련 픽셀 특징과 가깝게, 관련 없는 픽셀 특징과는 멀게 학습한다. 문장과 픽셀의 정렬을 명시적으로 유도해 대상 마스크 예측을 돕는다.
평가 조건
논문은 세 벤치마크에서 후처리 없이 결과를 비교했다. 전이한 사전 학습 지식과 새로 적용한 디코더 및 대조 목적이 함께 작용하는 모델로 해석해야 한다.