위키득계정 ↗
기술

FlowNet 2

FlowNet 2기술
영문
Evolution of Optical Flow Estimation with Deep Networks
명칭
FlowNet 2.0
주요 구성
누적 신경망과 중간 워핑
특화 조건
작은 이동의 추정
FlowNet 2는 광류 추정 신경망을 쌓고 중간 이동 추정에 따른 워핑을 활용하는 방법이다. 학습 자료를 제시하는 순서와 작은 움직임을 위한 구성을 함께 다뤄 초기 FlowNet의 추정을 개선한다.

중간 추정으로 다시 정렬하기

앞선 모델이 계산한 광류로 두 번째 영상을 워핑하고 다음 모델에서 추가 정보를 활용한다. 한 번의 독립적인 추정과 달리 중간 결과가 뒤 단계의 입력에 영향을 준다. 워핑이 있으므로 앞선 오류가 모두 자동으로 제거된다고 볼 수는 없다.

학습 자료의 순서

같은 구조를 사용해도 어떤 자료를 언제 학습시키는지에 따라 결과가 달라질 수 있다. FlowNet 2는 자료 제시 일정의 중요성을 함께 다룬다. 네트워크를 크게 만드는 것만을 개선의 이유로 설명하면 학습 과정의 역할을 놓치게 된다.

작은 이동의 예

0.2화소 이동을 0으로 추정하면 절대 오차는 작아 보여도 해당 이동을 전혀 표현하지 못한 것이다. 반대로 20화소 이동의 0.2화소 오차는 다른 상대적 의미를 갖는다. 이 예는 작은 움직임을 따로 살펴야 하는 이유이며 특정 평가 지표를 대체하지 않는다.

구성과 비교 조건

작은 움직임에 특화한 하위 네트워크를 포함한 구성이 제시된다. 빠른 변형과 높은 품질의 변형은 계산 비용이 다를 수 있다. 해상도와 장치 및 모델 구성을 맞춰 비교하고 후처리 시간을 포함했는지도 구분해 전체 광류 추정 비용을 평가한다.

관련 문서

FlowNet / RAFT 광류 추정 / PWC-Net / 합성곱 신경망 / LoFTR / Nerfies