움직임도 학습 신호가 되기
영상의 의미 특징을 배우는 데 많은 물체 이름 주석을 사용하는 대신 자기 이동 정보를 활용할 수 있는지 탐구한다. 이동 주체가 관측과 행동을 함께 얻는 조건을 학습의 출발점으로 삼는다.
의미 레이블과 다른 감독
자기 이동은 사진 속 물체의 범주 이름과 다르다. 움직임에 따른 관측 변화를 활용해 여러 시각 과제에 쓸 특징을 배우려 한다. 모든 영상 모음에 정확한 자기 이동 정보가 자동으로 포함되는 것은 아니다.
비교와 전이 평가
같은 훈련 이미지 수에서 자기 이동 감독과 범주 레이블 감독으로 배운 특징을 비교한다. 장면과 물체 인식, 시각 주행거리 추정, 특징점 대응에서 평가한다. 자료 수가 같아도 감독 정보의 형태는 다르다.
관측 변화의 독립 예
설명용으로 카메라가 옆으로 움직이면 가까운 기둥과 먼 건물의 영상 이동이 다를 수 있다. 같은 물체 이름만으로는 이런 변화 관계를 직접 알 수 없다. 실제 연구 장면을 옮기지 않은 이동 감독의 예다.
관련 문서
자기 지도 학습 / 문맥 예측 표현 학습 / RotNet 표현 학습 / LOCA 사전 학습 / 독립 성분 분석 / 시간 대비 비선형 ICA