어디를 나눌지 정하는 언어
지시 영상 분할은 정해진 범주가 아니라 자연어 표현이 지정한 대상을 나눈다. 문장의 내용에 맞는 영상 위치를 강조하는 것이 핵심 문제다.
시각 인코딩 중의 조기 융합
영상 특징과 언어 특징을 따로 얻은 뒤 디코더에서만 합치는 대신 비전 트랜스포머의 중간 층에 언어 특징을 결합한다. 시각 표현이 만들어지는 동안 다중 모달 문맥을 반영한다.
가벼운 마스크 예측기
언어와 시각의 상관관계를 인코더 단계에서 학습하고 그 결과를 비교적 가벼운 마스크 예측기로 전달한다. 어떤 단계에서 정보를 합치는지가 모델 설계의 중심이다.
평가 자료
논문은 RefCOCO, RefCOCO+, G-Ref에서 비교했다. 지시 대상의 경계 상자를 찾는 그라운딩과 픽셀 마스크를 예측하는 분할은 출력과 평가 기준이 다르다.