간격과 노출은 다르다
프레임 사이의 시간 간격은 촬영 주기를 나타내고 노출 시간은 한 프레임에 빛이 누적되는 기간이다. 다른 센서와 설정에서는 이 조건들이 달라질 수 있다. 학습 때와 다른 노출 조건에서 보간하면 위치 정렬에 문제가 생길 수 있다.
불확실한 시간 조건
이 접근은 노출 및 간격이 불확실한 입력 조건을 다룬다. 네 장의 연속된 선명한 프레임이나 두 장의 연속된 흐린 프레임에서 일반적인 곡선 움직임 궤적 식을 유도한다. 단순히 두 입력의 정중앙만을 가정하는 문제보다 촬영 조건을 넓게 살핀다.
이웃 궤적의 제약
인접한 움직임 궤적 안의 제약을 이용해 광학 흐름을 보정하는 전략을 사용한다. 이웃 프레임들의 관계가 서로 어긋나지 않도록 활용하는 것이다. 시간 사전이 없다는 말이 영상의 관측 단서나 모형 가정까지 전혀 쓰지 않는다는 뜻은 아니다.
같은 주기 다른 흔적
설명용으로 두 카메라가 모두 1초에 30장을 찍더라도 노출이 1/60초와 1/300초이면 한 장에 누적되는 이동의 길이가 다를 수 있다. 같은 FPS만으로 움직임 흐림이 같다고 판단할 수 없다. 실제 실험 설정이 아닌 시간 조건의 차이를 보여주는 예다.
관련 문서
QVI 프레임 보간 / XVFI / BiFormer 프레임 보간 / RIFE / FILM / Super SloMo