소리가 안내하는 분할
시청각 분할은 주어진 영상에서 소리를 내는 물체의 위치와 영역을 찾는 문제다. AVSegFormer는 이를 트랜스포머 구조로 다루며 시각적으로 존재하는 모든 물체보다 음향과 관련된 대상을 선택하는 표현을 학습한다.
쿼리로 시각 특징 선택하기
트랜스포머 디코더에 오디오 쿼리와 학습 가능한 쿼리를 도입해 관심 있는 시각 특징에 선택적으로 주목하게 한다. 쿼리는 여기서 검색창에 쓰는 문장이 아니라 특징을 조회하는 모델 내부 표현이다.
믹서와 중간 마스크
시청각 믹서는 관련 공간 채널을 강화하고 무관한 채널을 억제하며 시각 특징을 동적으로 조정한다. 중간 마스크 손실은 디코더의 중간 예측에도 감독을 제공하도록 설계한다. 최종 출력만 평가하는 일과 학습 중 중간 예측을 감독하는 일은 다르다.
배경 물체의 예
화면에 주전자와 컵이 함께 있어도 현재 소리가 주전자에서만 난다면 모든 주방 물체를 같은 목표로 표시할 필요는 없다. 음향 관련성에 따른 특징 선택과 물체 외곽의 정확한 분할은 각각 확인해야 하는 요소다.
관련 문서
AVSBench / CMSF 시청각 분할 / Ref-AVS / EZ-VSL / 시청각 공동 분할 학습 / 자기 지도 학습