광류를 학습 문제로 다루기
사진 두 장에서 각 화소의 상대 위치를 찾도록 신경망을 학습한다. 출력은 영상 평면의 이동 벡터이며 물체의 종류를 분류하는 결과와 다르다. 움직임이 같아 보여도 카메라와 장면의 깊이에 따라 실제 공간 운동은 다를 수 있다.
특징 상관의 예
특징 a=(1,0)과 후보 b=(0.8,0.2), c=(0,1)을 내적으로 비교하면 각각 0.8과 0이다. 이렇게 특징 사이의 유사도를 대응 단서로 사용할 수 있다. 단순한 독립 예이며 실제 상관 계층의 범위와 정규화, 주변 특징 처리를 모두 나타내지는 않는다.
합성 자료의 역할
정확한 광류 라벨을 현실 영상에서 대량으로 얻기 어려워 합성 Flying Chairs 자료를 생성해 학습에 활용했다. 합성 장면은 움직임의 정답을 제공할 수 있지만 실제 촬영의 조명과 가림 및 질감이 모두 동일한 것은 아니다. 학습 자료와 적용 자료 사이의 차이를 확인해야 한다.
속도와 정확도
신경망의 빠른 추론이 모든 위치에서 정확한 대응을 보장하지는 않는다. 작은 움직임과 큰 움직임, 경계와 가림 영역을 나누어 평가한다. 모델의 매개변수 수와 실행 속도도 다른 지표이며 같은 해상도와 장치에서 비교해야 한다.