분할을 영역 인식으로
영상을 픽셀마다 바로 분류하기보다 마스크 영역을 만들고 그 영역의 범주를 알아보는 문제로 구성한다. 사전 학습된 시각 언어 모델의 범주 인식 능력을 활용하는 방향이다.
옆에 붙이는 두 분기
한 분기는 마스크 제안을 만들고 다른 분기는 CLIP에 적용할 어텐션 편향을 예측한다. 생성한 영역을 분류하는 과정에 CLIP의 표현을 활용하도록 역할을 나눈다.
특징을 재사용하는 학습
옆 네트워크는 CLIP 특징을 재사용할 수 있어 비교적 가볍게 구성된다. CLIP을 고정한 상태에서 옆 네트워크를 함께 학습해 제안 마스크가 기반 모델에 맞춰지도록 한다.
효율 비교의 조건
논문은 여러 의미 분할 벤치마크에서 성능과 학습 가능 매개변수, 추론 속도를 비교했다. 학습 가능 매개변수가 적다는 사실은 동결한 기반 모델의 계산 비용까지 없다는 뜻은 아니다.