픽셀과 토큰의 공통 공간
일반적인 비의미 질의와 텍스트 입력에서 유도한 의미 질의를 받는다. 서로 다른 질의를 같은 의미 공간에서 해독해 픽셀 출력과 언어 토큰 출력을 연결한다.
여러 세밀함의 과제
분할과 영상 언어 과제를 하나의 디코딩 방식으로 다루고 서로 다른 세밀함의 과제 사이 상호작용을 지원한다. 풍부한 픽셀 수준 시각 의미 표현을 함께 학습하는 것이 목적이다.
혼합 자료의 사전 학습
제한된 분할 자료와 수백만 영상 텍스트 쌍을 섞어 학습한다. 논문은 의사 표지를 만들지 않는 구성을 제시했지만, 분할 자료를 전혀 쓰지 않는다는 뜻은 아니다.
전이와 과제 조합
개방 어휘 분할과 지시 분할뿐 아니라 지시 대상의 캡션이나 영상 편집 같은 조합도 평가했다. 제로샷 전이와 미세 조정 결과를 구분해 모델의 활용 범위를 살펴야 한다.