추정과 합성을 연결하기
움직임 추정 뒤 픽셀을 합성하는 두 단계 방식은 앞 단계의 오차에 민감할 수 있다. 이 방법은 두 역할을 하나의 적응 합성곱 과정으로 연결한다. 중간 프레임의 각 픽셀을 입력 프레임의 지역 정보에서 계산한다.
픽셀마다 달라지는 커널
완전 합성곱 신경망이 위치별 커널을 추정한다. 커널은 두 입력 사이의 국소 움직임과 픽셀을 합성하는 계수를 함께 담는다. 모든 위치에 고정된 같은 커널을 적용하는 일반적인 합성곱과 제어 단위가 다르다.
영상 자료에서 직접 학습하기
구하기 어려운 광학 흐름 정답 없이 널리 이용 가능한 영상 자료로 종단간 학습한다. 이는 광학 흐름 정답이 없다는 조건이며 학습할 영상 자체가 필요 없다는 뜻은 아니다. 가림이나 밝기 변화가 있는 경우에도 결과의 경계와 질감을 확인해야 한다.
가중 합성의 독립 계산
설명용 입력값 20과 60에 계수 0.75와 0.25를 주면 합성값은 30이다. 실제 방법의 커널 크기나 제약을 재현한 수치는 아니다. 위치마다 선택할 값과 계수가 달라질 수 있다는 의미를 보여 주는 최소 예다.
관련 문서
SepConv / AdaCoF / EDSC 프레임 보간 / MA-VFI / CAIN / FLAVR