문장의 대상에서 분할로
Ref-AVS는 소리·시각 단서가 포함된 자연어 표현으로 특정 물체를 분할하는 문제다. SimToken은 멀티모달 대형 언어 모델과 SAM을 연결해 교차 모달 추론과 세밀한 영역 추정을 나누어 다룬다.
대상을 압축한 토큰
언어 모델이 지시 대상을 나타내는 특별한 의미 토큰을 생성하도록 안내한다. 각 모달리티의 문맥이 담긴 이 토큰을 프롬프트로 사용해 SAM이 영상 프레임들에서 물체를 분할하게 한다. 토큰은 사용자가 읽는 물체 이름만을 뜻하지 않는다.
표현이 달라도 대상은 같게
대상 일관 의미 정렬 손실은 서로 다른 표현이 같은 물체를 가리킬 때 토큰 임베딩을 정렬한다. Ref-AVS 벤치마크에서 방법을 평가한다. 문장의 표면적 유사성과 지시 대상의 동일성은 다른 조건이다.
같은 대상을 가리키는 예
왼쪽에서 울리는 장치와 작은 화면 아래의 경보라는 표현이 한 물체를 가리킬 수 있다. 반대로 비슷한 문장도 시간이나 위치가 바뀌면 다른 대상을 가리킬 수 있다. 문장 전체의 문맥과 물체 대응을 함께 살펴야 한다.
관련 문서
Ref-AVS / TSAM / SAMA-AVS / MUSIC-AVQA / See Hear and Read / AVSBench