프레임을 제거해도 표현 유지하기
생성기가 입력 영상의 여러 프레임을 시간적으로 제거하고 판별기는 제거 여부와 관계없이 비슷한 특징을 인코딩하도록 학습한다. 학습 반복에 따라 다른 프레임을 적응적으로 제거하는 적대적 증강이다.
큐에 남는 오래된 표현
키가 메모리 큐에 들어간 뒤에도 모멘텀 인코더는 갱신된다. 따라서 오래된 키의 표현과 현재 입력의 표현 사이 차이가 생길 수 있다. 이는 영상 자체가 오래됐다는 뜻이 아니라 학습 시점의 표현 차이다.
시간 감쇠를 이용한 가중
대조 손실에서 키의 감쇠를 모델링해 큐의 최근 키에 더 주목하도록 한다. 프레임 제거에 대한 강건성과 큐 표현의 갱신 문제를 함께 보완해 MoCo를 영상 표현 학습에 적용한다.
누락과 보존의 독립 예
설명용으로 문이 열리는 짧은 구간만 제거하면 동작의 핵심 단서가 사라질 수 있다. 제거에 강건한 표현과 중요한 시간 정보를 보존하는 표현 사이를 살펴야 한다.