광류를 별도로 받지 않는 보간
많은 보간 방법은 광류를 추정한 뒤 영상을 워핑한다. FLAVR는 시공간 합성곱으로 움직임 관계를 직접 학습하는 경로를 사용한다. 명시적 광류 입력이 없다는 것이 시간 변화나 위치 대응을 고려하지 않는다는 뜻은 아니다.
시공간 표현의 학습
영상에서 비선형 움직임과 복잡한 가림 관계 및 시간적 정보를 학습한다. 중간 영상 생성의 목표를 통해 표현을 학습하며 전체 구조를 종단 간 학습할 수 있다. 가림 뒤의 모든 표면이 관측되는 것은 아니므로 복원에는 모호함이 남는다.
중간 위치의 모호함
설명용으로 대상이 두 관측에서 위치 0과 10에 있어도 중간 시점이 반드시 5라고 정해지지는 않는다. 속도가 일정하지 않으면 3이나 7에 있을 수도 있다. 끝점만으로 비선형 궤적이 정해지지 않는다는 예이며 모델의 실제 출력값은 아니다.
표현의 다른 활용
프레임 보간을 자기 지도 사전 과제로 이용해 동작 인식 등 다른 작업에 활용하는 방향도 평가한다. 보간 정확도와 다른 작업의 표현 품질은 각각 확인해야 한다. 다중 프레임 생성 전체의 시간과 경계 왜곡 및 시간적 일관성을 함께 살핀다.
관련 문서
CAIN 프레임 보간 / RIFE / FILM 프레임 보간 / DAIN / TOFlow / VRT 영상 복원