범주를 텍스트로 표현하기
텍스트 인코더가 설명형 입력 표지의 임베딩을 계산한다. 숫자 범주 식별자만 쓰는 대신 의미가 비슷한 표지들이 표현 공간에서도 가까워질 수 있는 언어 표현을 사용한다.
픽셀 특징의 정렬
트랜스포머 기반 영상 인코더가 픽셀별 임베딩을 만든다. 해당 의미 범주의 텍스트 임베딩에 픽셀 표현을 맞추는 대조 목적을 사용해 영상 인코더를 학습한다.
새로운 범주의 지정
유연한 텍스트 표지 표현을 통해 평가 시 보지 못한 범주로 일반화하는 방식을 제시했다. 새 범주의 훈련 표본이나 재학습 없이 지정하는 조건이 핵심이다.
평가 조건
논문은 제로샷 및 소수샷 분할 방법과 비교하고 고정 표지 집합을 주는 설정도 평가했다. 새 범주에 추가 학습이 없다는 것과 모델의 분할 표현을 처음부터 학습하지 않았다는 것은 다르다.