기존 자료의 범주로 연결하기
기존 이미지 분할 자료와 오디오 자료를 활용해 이미지·마스크 쌍에 대응 오디오를 연결한다. 분할 자료의 범주 레이블을 사용해 추가 수작업 주석 없이 AVS용 합성 자료를 구성하는 절차다. 기존 자료까지 주석이 전혀 없다는 뜻은 아니다.
SAM의 시청각 적응
SAMA-AVS는 사전 학습한 SAM을 시청각 과제에 맞춘 경량 모델이다. 대부분 매개변수를 고정하고 소수 어댑터를 학습해 인코딩 단계에서 시각·음향 융합과 상호작용을 수행한다.
합성 자료와 실제 자료
합성 자료로 사전 학습한 모델이 실제 AVSBench에서 어떤 성능을 내는지 평가한다. 합성 삼중쌍의 유용성과 실제 장면의 복잡성이 같은 것은 아니다. 범주가 맞아도 시간 변화나 배경음의 관계까지 모두 일치하지는 않을 수 있다.
범주 일치의 예
개가 있는 이미지와 짖는 소리를 연결하면 범주는 맞지만 이미지 속 자세나 다른 물체가 실제 소리 발생 조건을 보장하지는 않는다. 합성 자료의 의미적 대응과 실제 동기화된 녹화는 다른 종류의 학습 신호다.
관련 문서
AVSBench / CMSF 시청각 분할 / LAVISH / AVSegFormer / Ref-AVS / DDESeg