명시하지 않은 대상을 추론하기
대상의 이름이나 정해진 범주만 주는 대신 복잡하고 암묵적인 요청에서 분할할 대상을 정하는 과제다. 시각적 특징뿐 아니라 세계 지식과 추론을 요구할 수 있다.
언어 표현에서 마스크로
모델의 어휘에 분할 토큰을 추가하고 그 임베딩을 마스크와 연결하는 방식을 사용한다. 다중 모달 언어 모델의 텍스트 생성 능력과 영역 출력을 함께 다루려는 설계다.
평가 자료와 학습 조건
연구는 천 개가 넘는 영상, 지시, 마스크 표본으로 벤치마크를 구성했다. 추론 분할 자료 없이 학습한 설정과 추론 분할 표본 239개로 추가 조정한 설정을 구분해 평가했다.
제로샷의 의미
추론 없는 자료로 학습한 뒤 추론 분할을 수행하는 결과가 제시됐다. 여기서 제로샷은 해당 유형의 학습 자료 조건을 뜻하며, 모델 전체에 사전 학습이나 분할 학습이 없었다는 의미는 아니다.