없는 시점의 영상을 만들기
프레임 보간은 이미 촬영된 두 시점 사이에 새 프레임을 추정하는 작업이다. 기존 프레임의 화소 수를 늘리는 초해상도와는 다르다. RIFE는 중간 시점의 흐름을 추정해 입력 정보를 결합한다.
중간 흐름을 학습하기
IFNet은 중간 광류를 종단 간 추정하고 학습에는 특권 증류를 사용한다. 별도로 사전 학습한 광류 모델에 의존하지 않는 구성을 제시한다. 광류 모형을 사전 학습하지 않는다는 말과 전체 보간 모델에 학습 자료가 필요 없다는 말은 다르다.
보간 시점의 예
설명용으로 입력 시각이 0초와 0.04초이고 정규화 시점이 0.25이면 목표 시각은 0.01초다. 다만 물체가 그동안 등속 직선 운동을 했다고 자동으로 보장되지는 않는다. 시간 좌표를 정하는 일과 실제 중간 화소의 내용을 추정하는 일은 별개다.
가림과 장면 전환
한 입력에서만 보이는 영역이나 빠른 회전, 장면 전환은 보간을 어렵게 할 수 있다. 생성한 프레임을 실제 촬영한 순간으로 취급하면 안 된다. 출력 시점과 해상도, 입력 간격을 맞춰 화소 및 지각 품질과 전체 실행 지연을 비교하고 실시간 가능 여부는 기기별로 측정한다.
관련 문서
FILM 프레임 보간 / BasicVSR / BasicVSR 플러스 / RVRT / RAFT 광류 추정 / 광류