전방과 역방향 변형
역방향 변형은 출력 위치에서 어디의 입력을 읽을지 정한다. 전방 변형은 입력 위치를 목표 위치로 보낸다. 여러 입력이 한곳으로 갈 수 있어 충돌 처리가 필요하다. 소프트맥스 스플래팅은 이런 결합을 미분 가능한 형태로 다룬다.
보간 모델에서의 활용
광류로 두 프레임과 특징 피라미드를 전방 변형하고 합성 네트워크가 중간 프레임을 만든다. 연산을 미분할 수 있어 특징과 광류를 함께 미세 조정하는 데 활용할 수 있다. 이것만으로 가림과 대응 오류가 모두 해결되는 것은 아니다.
정규화 가중치의 예
설명용으로 두 값 2와 8의 비정규화 가중치가 1과 3이면 정규화한 비율은 0.25와 0.75이고 결합은 6.5다. 단순 평균 5와 다르다. 실제 중요도는 모델이 정하며 이 계산은 전체 보간망의 실제 입력이나 측정값을 뜻하지 않는다.
충돌과 빈 위치의 평가
원본 정보가 없는 목표 위치를 그럴듯하게 채우는 일과 여러 입력의 충돌을 정리하는 일은 다르다. 가림 및 움직임 경계에서 각각 확인해야 한다. 입력 해상도와 시간 간격을 맞추고 광류, 변형 및 합성 비용을 모두 포함해 품질과 지연을 비교한다.
관련 문서
ABME / DAIN / RIFE / Super SloMo / FILM 프레임 보간 / 광류