특징과 군집의 차이
강력한 특징 인코더가 있어도 영상들을 의미 있는 범주로 자동 구분하는 문제가 저절로 해결되지는 않는다. SeLaVi는 표현 학습의 결과를 활용하는 데서 더 나아가 주석 없는 영상의 군집과 의사 레이블을 학습하는 문제를 다룬다.
소리와 영상이 주는 단서
영상에는 보이는 장면과 함께 기록된 소리가 있다. 두 모달리티의 자연스러운 대응을 군집 학습에 이용한다. 사람의 범주 주석을 학습에 쓰지 않는다는 뜻이며 소리 자체가 정확한 정답 레이블이라는 뜻은 아니다.
평가에서 확인하는 것
학습한 군집과 사람이 정한 범주의 의미적 대응을 비교한다. Kinetics, Kinetics-Sound, VGG-Sound, AVE 등에서 주석 없는 레이블링을 평가한다. 군집 번호 자체에는 고정된 이름이 없으므로 번호 일치와 의미적 일치를 구분해야 한다.
대응이 어긋나는 독립 예
설명용으로 화면에는 자동차가 보이지만 배경 음악만 들리는 장면에서는 소리가 보이는 물체를 직접 설명하지 않는다. 반대로 악기 연주 장면에서는 둘의 대응이 뚜렷할 수 있다.
관련 문서
군집화 / 자기 지도 학습 / 대조 학습 / CVRL / VideoMoCo / SCAN 이미지 군집