순서 검증과 방향 판단
임의로 섞인 프레임을 찾는 문제와 정상 순서를 반대로 재생했는지 판별하는 문제는 다르다. 이 연구는 영상의 시간 방향을 구별하게 하는 단서가 무엇이며 어디서 나타나는지 탐구한다.
긴 시간 범위와 단서 시각화
더 긴 시간 범위를 다루고 범주 활성화를 시각화하기에 적합한 합성곱망을 설계한다. 여러 영상 자료를 구성하고 중요한 지역의 위치와 군집 분석으로 여러 표본에 공통인 단서를 살핀다.
인공 단서의 영향
영화 제작 관행처럼 현실의 물리 변화와 다른 단서가 학습에 영향을 줄 수 있어 이를 분석한다. 학습망을 행동 인식 자기 감독과 의도적으로 역재생한 영화 클립의 분석에 활용한다. 특정 제작 단서의 성공을 물리 법칙 이해와 같다고 보아서는 안 된다.
방향의 독립 예
설명용으로 사람 없이 일정하게 도는 대칭 회전체는 짧은 관측만으로 재생 방향을 판단하기 어려울 수 있다. 관측 정보의 부족과 모형의 오답을 구분해야 한다. 실제 연구 영상을 옮기지 않은 방향 단서의 예다.
관련 문서
Shuffle and Learn / 시간 대비 비선형 ICA / 자기 지도 학습 / 합성곱 신경망 / 자기 이동 등변 표현 / RotNet 표현 학습