클립을 비교하는 표현 학습
레이블 없는 영상에서 시공간 특징을 배우기 위해 같은 짧은 영상의 두 증강 클립을 표현 공간에서 가깝게 한다. 다른 영상의 클립은 멀어지도록 대조 손실을 적용한다. 같은 영상이라는 조건은 모든 구간의 내용이 같다는 보장은 아니다.
프레임 사이 일관된 공간 변환
영상의 각 프레임에 강한 공간 증강을 적용하면서 프레임 사이 시간적 일관성을 유지하도록 설계한다. 개별 이미지에 유용한 변환이라도 영상에서는 움직임 단서를 어떻게 바꾸는지 함께 살펴야 한다.
시간 간격을 고려하는 이유
표본 추출에 기반한 시간 증강으로 시간적으로 멀리 떨어진 클립까지 과도하게 같은 표현으로 강제하는 일을 피하려 한다. 공간 정보와 시간 정보를 모두 활용하되 유지해야 할 공통성과 보존해야 할 변화의 범위를 구분하는 접근이다.
변화 보존의 독립 예
설명용으로 빈 컵을 놓는 구간과 물을 따르는 구간을 비교하면 같은 배경이지만 행동은 달라진다. 배경을 공유한다는 이유만으로 두 행동의 차이까지 지울 필요는 없다.
관련 문서
VideoMoCo / RSPNet / 대조 학습 / 자기 지도 학습 / SpeedNet / TCN 시각 표현