위키득계정 ↗
기술

강건한 시청각 인스턴스 구분

강건한 시청각 인스턴스 구분기술
원래 제목
Robust Audio-Visual Instance Discrimination
양성 잡음
서로 유익하지 않은 소리와 영상
음성 잡음
의미적으로 유사한 다른 사례
보완 수단
가중 손실과 부드러운 목표 분포
강건한 시청각 인스턴스 구분은 소리와 영상의 대조 학습에서 잘못된 양성과 잘못된 음성의 영향을 줄이는 자기 지도 방법이다. 약한 대응에는 가중치를 낮추고 사례 사이 관계에는 부드러운 목표 분포를 사용한다.

대응한다고 항상 유익하지는 않다

같이 기록된 소리와 영상이라도 서로의 내용을 설명하지 못할 수 있다. 이런 쌍을 강한 양성 신호로 사용하면 학습에 잡음이 들어간다. 이 방법은 가중 대조 손실로 잘못된 양성의 기여를 낮춘다.

다른 사례라도 비슷할 수 있다

음성 사례를 무작위로 추출하면 기준 사례와 의미적으로 비슷한 항목이 포함될 수 있다. 이를 무조건 멀리 보내는 학습은 유용한 관계를 해칠 수 있다. 사례 사이 관계를 추정한 부드러운 목표 분포를 인스턴스 구분 손실에 사용한다.

두 오류의 독립 예

설명용으로 새가 보이지만 자동차 소리만 들리는 장면은 양성 대응을 의심할 경우다. 서로 다른 두 새 영상은 다른 파일이어도 의미가 유사할 수 있다.

강건성 평가의 의미

행동 인식 실험으로 두 잡음 요인을 다루는 효과와 전이 성능을 평가한다. 가중치 조정은 잘못된 대응을 완벽히 판별한다는 뜻이 아니며 부드러운 분포도 정답 범주를 직접 제공하지 않는다. 입력 관계에 관한 추정이라는 한계를 함께 읽어야 한다.

관련 문서

AVID-CMA / XDC / SeLaVi / 대조 학습 / 자기 지도 학습 / VideoMoCo