정확한 움직임과 좋은 복원
광류는 영상 사이의 이동을 나타내지만 광류 오차가 작다는 사실만으로 복원 품질이 가장 좋다고 볼 수는 없다. 특정 복원 작업에는 그 작업에 적합한 표현이 유리할 수 있다. TOFlow는 최종 영상 처리 목적에 맞추어 움직임 표현을 학습한다.
두 모듈의 공동 학습
학습 가능한 움직임 추정 부분과 영상 처리 부분을 연결해 함께 학습한다. 별도 광류 결과를 고정 입력으로 사용하는 것과 학습 목적이 다르다. 자기 지도 방식으로 작업별 표현을 얻지만 학습 자료나 목표 신호가 필요 없다는 뜻은 아니다.
오차의 가중치 예
설명용으로 위치 오차가 모두 1화소여도 평평한 벽에서의 오류와 작은 글자 획에서의 오류는 복원에 다르게 드러날 수 있다. 같은 이동 오차 크기만으로 최종 결과를 모두 설명하기 어렵다는 예이며 실제 학습 손실의 가중치를 규정하지는 않는다.
작업별 확인
프레임 보간과 영상 잡음 및 블록 흔적 제거, 초해상도에서 평가한다. 비교를 위한 Vimeo-90K 자료도 제안한다. 하나의 작업에 적합한 표현이 다른 모든 작업에서도 최선이라고 단정할 수 없으며 정렬 및 처리 전체의 비용을 함께 비교한다.