양쪽 입력에서 움직임 보기
두 입력 사이의 양방향 광류를 계산하고 목표 시점에 맞는 중간 흐름을 근사한다. 근사만으로는 움직임 경계에서 오류가 생길 수 있어 추가 네트워크가 흐름을 정제한다. 모든 물체가 매끄러운 직선 운동을 한다고 확정하는 방식은 아니다.
보이지 않는 표면의 기여 줄이기
정제부는 부드러운 가시성 맵도 예측한다. 입력 이미지를 중간 시점으로 변형한 뒤 가려진 화소의 영향을 줄여 결합한다. 가시성 예측이 실제 표면의 정답이라는 보장은 없으며 가림 경계에서 결과를 확인해야 한다.
중간 프레임 개수의 예
설명용으로 시각 0과 1 사이를 네 간격으로 나누면 내부 시점은 0.25, 0.5, 0.75의 세 개다. 끝점을 포함한 다섯 프레임과 새로 생성한 세 프레임은 개수가 다르다. 출력 수를 늘려도 실제 촬영한 관측이 더 생기는 것은 아니다.
다중 보간의 평가
학습 매개변수가 특정 목표 시점에만 묶이지 않도록 해 여러 중간 시점을 생성할 수 있다. 생성 개수와 해상도가 늘면 비용도 달라진다. 큰 움직임과 장면 전환에서의 품질, 연속 출력의 흔들림을 확인하고 광류 추정부터 합성까지 포함한 전체 실행 시간을 비교한다.
관련 문서
DAIN / RIFE / FILM 프레임 보간 / RAFT 광류 추정 / 광류 / BasicVSR