먼저 기준 프레임 만들기
두 입력 사이의 중간 시점은 직접 관측되지 않는다. ABME는 대칭 양방향 운동을 예측해 기준 프레임을 만든 뒤 더 유연한 대응을 추정한다. 기준 프레임은 정답 중간 영상을 새로 촬영한 것이 아니라 첫 단계의 추정 결과다.
비대칭적인 대응의 필요
가림이나 복잡한 운동에서는 중간 위치에서 양쪽 입력까지의 관계가 단순히 반대 방향으로만 정해지지 않을 수 있다. 기준 프레임에서 입력으로 비대칭 운동을 추정하고 이를 역방향 변형에 사용해 중간 이미지를 재구성한다.
대칭 이동의 예
설명용으로 왼쪽 입력의 점이 위치 0, 오른쪽이 10이고 중간을 5로 놓으면 양쪽 변위는 −5와 5다. 하지만 실제 중간 위치가 3이면 −3과 7이 된다. 단순 대칭만으로 표현하기 어려운 경우를 보여주며 실제 모델의 모든 운동 가정을 지정하지 않는다.
합성과 오류 전파
국소 및 전역 정보를 사용하는 합성망은 동적 필터와 잔차 프레임을 만들어 정제한다. 초기 기준의 오류가 후속 추정에 영향을 줄 수 있어 단계별 결과도 확인해야 한다. 빠른 움직임과 가림, 얇은 구조를 나누고 같은 시간 간격 및 해상도에서 품질과 전체 비용을 비교한다.
관련 문서
소프트맥스 스플래팅 / RIFE / DAIN / Super SloMo / FILM 프레임 보간 / 광류