영상의 물리적 원인과 연결하기
물체와 장면의 영상은 관측 주체가 어떻게 움직였는지에 따라 바뀐다. 이 연구는 영상의 물리적 원인과 학습을 연결하기 위해 자기 운동의 감각 신호를 비지도 정규화로 활용한다.
불변 대신 예측 가능한 변화
서로 다른 자기 이동에 해당하는 변환에서 학습 특징이 예측 가능한 반응을 보이도록 등변성을 강제한다. 어떤 움직임에서도 특징이 완전히 같아야 한다는 불변성 목표와 다르다.
인식과 관측점 선택
여러 자료에서 시각 인식과 다음으로 좋은 관측점의 예측을 평가한다. 주행 영상으로 학습한 특징을 별도 도메인의 정적 장면 인식에 옮기는 실험도 다룬다. 특정 전이가 모든 이동 환경의 강건성을 보장하지는 않는다.
방향 정보의 독립 예
설명용으로 오른쪽으로 이동한 관측과 왼쪽으로 이동한 관측을 같은 특징으로만 압축하면 이동 방향의 관계를 잃을 수 있다. 변화 자체를 표현하는 목표가 필요한 이유다. 실제 연구의 변환식을 옮기지 않은 등변성의 예다.
관련 문서
자기 이동 감독 시각 학습 / 자기 지도 학습 / 등변 신경망 / PiCIE / LOCA 사전 학습 / 문맥 예측 표현 학습