절대 속도 판단의 한계
자연 영상에서 정확한 속도 레이블을 얻기 어렵고 속도 예측만으로 학습하면 움직임에 치우칠 수 있다. RSPNet은 움직임과 외형을 함께 표현하기 위한 비지도 영상 학습을 다룬다.
상대 재생 속도의 활용
두 영상 클립의 상대 속도를 레이블로 이용해 속도를 지각하게 한다. 연구는 상대 재생 속도가 움직임 패턴에 더 일관된 감독을 제공할 수 있다는 관찰에서 출발한다. 같은 속도 배율과 같은 실제 물체 속도는 다르다.
외형 과제와의 공동 학습
두 클립의 외형 차이를 지각하도록 하는 과제를 추가해 외형 특징을 학습하게 한다. 두 과제를 함께 최적화하며 행동 인식과 영상 검색에서 표현을 평가한다. 움직임 성능과 외형 보존 능력을 별도로 살필 필요가 있다.
상대성의 독립 계산
설명용으로 같은 원본의 두 클립을 각각 2배와 4배로 재생하면 두 번째의 상대 재생 배율은 2다. 실제 물체의 미터 단위 속도를 측정한 것은 아니다.
관련 문서
SpeedNet / TCN 시각 표현 / 시간 순환 일관성 학습 / Shuffle and Learn / 자기 지도 학습 / 영상 시간 방향 예측