전역에서 지역으로
먼저 거친 척도에서 대칭적인 양쪽 움직임 필드를 예측한다. 이를 위해 양방향 움직임 추정에 트랜스포머를 사용하는 BiFormer를 제시한다. 큰 움직임의 관계를 먼저 잡고 이후 지역적으로 다듬는 흐름이다.
블록별 보정
전역 움직임 필드를 블록별 양방향 비용 볼륨인 BBCV로 효율적으로 보정한다. 거친 척도의 대응만으로는 경계나 작은 움직임이 충분하지 않을 수 있다. 전체 움직임 추정과 지역 보정의 목적을 구분해 볼 수 있다.
중간 프레임 합성
보정된 움직임 필드로 입력 프레임을 워핑하고 혼합해 중간 프레임을 합성한다. 움직임이 맞더라도 가려진 부분이나 새로 드러난 부분은 어려울 수 있다. 서로 다른 두 물체를 무조건 평균 내는 일과 대응을 맞춘 뒤 정보를 결합하는 일은 다르다.
거친 척도의 이동 예
설명용으로 원래 격자에서 24픽셀인 이동이 가로세로를 4분의 1로 줄인 격자에서는 6픽셀이 된다. 원래 척도로 옮길 때는 좌표 단위를 다시 맞춰야 한다. 실제 모델의 축소율이나 모션 추정 결과가 아닌 좌표 관계의 예다.
관련 문서
AMT 프레임 보간 / EMA-VFI / IFRNet / BMBC / RIFE / FILM