길이가 다른 동작의 대응
같은 동작을 담은 두 영상도 진행 속도와 길이가 다를 수 있다. TCC는 영상 간 시간 정렬을 자기 지도 학습 과제로 삼아 여러 영상에서 시간 대응을 찾는 표현을 학습한다.
순환 손실과 프레임 표현
미분 가능한 순환 일관성 손실로 네트워크를 훈련한다. 학습한 프레임 임베딩의 최근접 이웃을 맞추는 방식으로 영상을 정렬할 수 있다. 시각적으로 닮은 프레임이 반드시 같은 동작 단계인 것은 아니다.
정렬 표현의 활용
행동 단계의 소수 예제 분류와 다른 영상 자기 지도 학습 방법과의 상호 보완성을 평가한다. 시간 대응을 이용해 메타데이터 전달과 동기 재생, 이상 탐지 같은 활용도 살핀다. 대응의 정확성과 개별 응용 성능은 구분해야 한다.
속도 차이의 독립 예
설명용으로 컵을 드는 동작이 한 영상에서는 1초, 다른 영상에서는 2초에 나타날 수 있다. 같은 타임스탬프를 맞추는 것과 같은 동작 단계를 맞추는 것은 다르다. 실제 연구 영상을 옮기지 않은 시간 정렬의 예다.
관련 문서
Shuffle and Learn / 영상 시간 방향 예측 / 시간 대비 비선형 ICA / 자기 지도 학습 / NNCLR / 자기 이동 등변 표현