세 모달리티로 대상 지정
Ref-AVS는 문장과 소리로 지시한 물체를 영상에서 연속적으로 분할하는 과제다. SAM2-LOVE는 문장·음향·시각 정보를 통합한 토큰으로 SAM2를 안내하고 정렬하는 구성을 제안한다.
프레임 사이의 대상 유지
각 프레임에서 대상이 바뀌어 버리는 문제를 시공간 일관성의 관점에서 다룬다. 멀티모달 융합 모듈과 함께 토큰 전파·누적 전략으로 과거 정보를 잊지 않고 활용하려 한다.
연속 분할의 평가
Ref-AVS 벤치마크에서 구성 요소의 효과와 전체 분할 성능을 평가한다. 특정 프레임의 외곽이 정확한 것과 영상 전체에서 같은 지시 대상을 유지하는 것은 다른 측면이다. 과거 정보가 있다고 해서 현재의 모든 변화까지 고정해서는 안 된다.
잠시 가려진 대상의 예
같은 소리 내는 물체가 잠시 다른 물체 뒤로 가렸다가 다시 보일 수 있다. 직전 프레임의 단서만 보면 다른 물체로 옮겨갈 가능성이 있다. 문장·소리 조건과 과거 대상 정보를 함께 연결하는 것이 연속 분할의 과제다.