자연스러운 빠르기 판단
같은 재생 배율이어도 영상의 움직임이 얼마나 자연스럽게 보이는지는 장면에 따라 다를 수 있다. SpeedNet은 정상 재생과 가속 재생의 이진 판별을 핵심으로 움직임의 빠르기를 학습한다.
이진 과제에서 다양한 속도로
한 이진 분류망을 다양한 물체 속도의 감지에 사용하는 방법을 제시한다. 복잡한 자연 움직임에서 예측에 이용하는 시각 단서를 분석한다. 재생 배율의 숫자를 아는 것과 자연 속도를 판단하는 것은 다르다.
표현과 가속의 응용
속도 예측으로 얻은 시공간 표현을 자기 지도 행동 인식과 영상 검색에 활용한다. 시간에 따라 적응적으로 재생을 가속해 일률적 가속에서 생기는 불자연스러운 움직임을 줄이는 응용도 다룬다.
속도 해석의 독립 예
설명용으로 천천히 걷는 장면을 빠르게 재생한 결과와 실제로 빨리 걷는 장면은 비슷한 이동량을 보일 수 있다. 단순한 픽셀 이동만으로 재생 상태를 확정하기 어렵다. 실제 연구 영상을 옮기지 않은 속도 판단의 예다.
관련 문서
시간 순환 일관성 학습 / Shuffle and Learn / 영상 시간 방향 예측 / 자기 지도 학습 / 자기 이동 감독 시각 학습 / 시간 대비 비선형 ICA