대상 해석을 먼저 수행하기
잠재 임베딩을 바로 분할기에 넣는 접근과 달리 지시가 가리키는 물체를 명시적으로 해석하는 방향을 제시한다. 멀티모달 분석으로 대상을 정한 뒤 거친 위치 추정과 정밀 분할로 진행한다.
물체 설명으로 도구 연결
Ref-Thinker는 문장·시각·청각 단서를 다루는 멀티모달 언어 모델이다. 물체 중심 추론·답변 체계를 담은 지시 조정 자료로 학습하며 추론한 물체 설명을 Grounding-DINO와 SAM2의 프롬프트로 사용한다.
감독 조건과 평가
위치 추정과 분할 단계는 픽셀 수준 감독에 의존하지 않는 구성을 제시한다. 이 조건은 지시 조정 학습 자체도 없다는 뜻은 아니다. 표현이 다양하고 추론이 필요한 참조를 담은 R2-AVSBench와 표준 Ref-AVSBench에서 평가한다.
해석 오류의 전달
소리 나는 물체 옆의 컵이라는 지시에서 먼저 음원을 컵으로 잘못 해석하면 이후 분할기가 컵 외곽을 잘 찾아도 대상 선택은 틀릴 수 있다. 해석·위치·경계의 오류를 나눠 살피면 단계별 결과를 이해하기 쉽다.
관련 문서
Ref-AVS / SimToken / TSAM / SAM2-LOVE / MUSIC-AVQA / See Hear and Read