위치와 가중치를 함께 선택
중간 프레임의 한 화소를 만들려면 어느 입력 위치를 얼마나 참고할지 정해야 한다. AdaCoF는 출력 위치별로 커널 가중치와 위치 오프셋을 추정한다. 고정된 주변만 읽거나 이동 한 개로 대응시키는 표현보다 유연한 워핑을 목표로 한다.
복잡한 움직임의 표현
워핑의 자유도가 제한되면 실제 영상의 복잡한 움직임을 다루기 어려울 수 있다. 여러 위치의 정보가 협력하도록 구성하며 기존 접근을 특수한 경우로 포함할 수 있는 일반적인 모듈을 연구한다. 유연성이 커져도 가림 뒤의 내용이 모두 관측되는 것은 아니다.
두 샘플의 예
설명용으로 값 2와 10을 가중치 0.75와 0.25로 합치면 4가 된다. 같은 가중치라도 다른 위치를 읽어 값이 2와 6이면 결과는 3이다. 가중치와 샘플링 위치가 함께 중요하다는 예이며 실제 모듈의 전체 식은 아니다.
학습과 시각 품질
프레임 보간에 맞춘 두 프레임 적대 손실도 도입한다. 자연스러운 출력과 실제 중간 시점의 정확성은 별도로 확인해야 한다. 움직임 크기와 가림 조건을 나누어 경계의 이중상 및 작은 구조, 시간적 일관성과 실행 비용을 비교한다.
관련 문서
SepConv 프레임 보간 / CAIN 프레임 보간 / FLAVR / RIFE / FILM 프레임 보간 / DAIN