조건이 출력에 기여하는가
시청각 분할 모델에 소리를 입력해도 실제 출력이 그 소리를 충분히 이용하는지는 별도 문제다. 이 접근은 오디오와 최종 분할 지도의 상관성을 명시적으로 다루며 의미적으로 연관된 표현을 학습하려 한다.
분할 지도의 생성 과정
잠재 확산 모델로 정답 분할 지도의 조건부 생성 과정을 학습하고 시험 단계에서는 잡음 제거 과정을 이용한다. 정답 지도로 생성 과정을 학습한다는 뜻이며 시험 시 정답 마스크를 직접 입력받는다는 뜻은 아니다.
대조 학습의 제약 역할
다중 모달 조건과 단일 모달 조건의 확률에 관한 밀도비를 모델링해 오디오 기여를 다룬다. 확산 부분은 최대우도 추정을 위한 주목적으로, 밀도비 최적화 부분은 대조 학습으로 구현되는 제약으로 구성한다.
음향 의존성의 예
같은 화면에서 서로 다른 장치가 번갈아 소리 낸다면 음향에 따라 목표 마스크도 바뀌어야 한다. 소리를 바꿔도 항상 같은 물체만 출력한다면 시각적 선호에 의존했을 가능성을 살펴야 한다. 보기 좋은 마스크와 조건을 실제로 이용한 마스크는 다른 평가 관점이다.
관련 문서
AVSBench / AVSegFormer / COMBO 시청각 분할 / Stepping Stones 시청각 학습 / CMSF 시청각 분할 / 대조 학습