정해진 범주 대신 표현으로
자연어로 설명한 대상을 영상에서 분할한다. 고정된 클래스 목록이 아니라 문장이 지정한 대상에 맞춰 픽셀 영역을 구분하는 과제다.
긴 관계를 포착하기
연구는 합성곱 기반 구성의 긴 의존 관계와 모달 간 상호작용 한계를 문제로 보았다. ReSTR는 영상과 언어의 특징을 트랜스포머 인코더로 추출해 각 모달 안의 관계를 다룬다.
융합과 적응형 분할
두 모달의 특징을 자기 어텐션 인코더로 융합한다. 결합한 특징은 현재 영상과 언어 표현에 맞춰 작동하는 분할 모듈로 전달된다.
비교의 조건
논문은 당시의 공개 벤치마크에서 기존 방법과 비교했다. 합성곱을 사용하지 않는 구조와 특정 벤치마크의 성능은 구분할 성질이며, 모든 자료에서 더 좋다는 영구적인 순위로 볼 수는 없다.