고정 범주를 넘어 지정하기
범주를 추가할 때마다 모델을 다시 학습하는 대신 평가 시 프롬프트로 대상을 지정한다. 자유로운 텍스트 또는 질의를 나타내는 추가 영상을 입력하는 방식을 사용한다.
CLIP에 분할 디코더 결합
CLIP을 백본으로 사용하고 밀집 예측을 위한 트랜스포머 기반 디코더를 확장한다. 학습은 확장된 PhraseCut 자료를 이용해 프롬프트와 이진 마스크의 관계를 다룬다.
세 분할 과제의 통합
지시 표현 분할과 제로샷 분할, 한 예시를 사용하는 분할을 한 번 학습한 모델로 다루는 구성을 제시했다. 과제마다 텍스트와 영상 중 어떤 프롬프트를 주는지 구분해야 한다.
속성과 용도에 대한 질의
논문은 물체 이름뿐 아니라 속성이나 행동 가능성에 관련된 일반화 질의도 분석했다. 다양한 질의를 지원하는 인터페이스와 모든 표현에 정확히 대응하는 성능은 별도로 평가할 대상이다.