고해상도의 큰 변위
같은 장면도 화소 수가 많아지면 대상의 이동이 더 큰 화소 변위로 나타날 수 있다. XVFI는 4K 영상과 큰 움직임의 보간을 위해 구조와 평가 자료를 제안한다. 해상도만 높다는 이유로 모든 움직임이 어렵거나 쉬운 것은 아니다.
두 종류의 흐름 추정
재귀적 다중 규모 공유 구조에서 BiOF-I가 두 입력 사이의 양방향 흐름을 학습한다. BiOF-T는 목표 시점에서 입력으로 향하는 흐름을 다루며 상보적 흐름 반전으로 근사한다. 두 모듈의 역할과 처리 규모를 구분한다.
규모에 따른 변위 예
설명용으로 원래 영상에서 80화소 이동은 가로세로를 4분의 1로 줄인 표현에서 20화소 이동에 해당한다. 작은 규모가 큰 변위를 다루는 데 도움이 될 수 있지만 세부 정보도 줄어든다. 이는 규모 해석 예제이며 실제 네트워크의 축소 배율은 아니다.
추론과 데이터
추론에서 입력 간 흐름 모듈의 시작 규모를 조절하고 목표 흐름 모듈은 원래 규모에서 처리한다. 4K 고속 촬영 자료 X4K1000FPS로 큰 움직임을 평가한다. 경계와 복잡한 질감, 가림 및 해상도별 전체 메모리와 시간을 함께 확인한다.
관련 문서
QVI 프레임 보간 / FILM 프레임 보간 / RIFE / AMT 프레임 보간 / IFRNet / BMBC