고정 커널의 범위
커널 기반 보간은 입력 영상에 위치별 적응형 커널을 적용해 출력 픽셀을 만든다. 움직임이 미리 정한 커널 범위보다 크면 대응 정보를 찾기 어려울 수 있다. EDSC는 이런 공간적 범위의 한계와 중간 시점의 제약을 다룬다.
비국소 정보를 가져오기
적응형 커널뿐 아니라 오프셋과 마스크, 편향을 추정해 떨어진 이웃의 정보를 얻도록 한다. 명시적인 광학 흐름을 먼저 계산하는 방식과 다르다. 오프셋으로 위치를 조정하는 역할과 커널로 값을 결합하는 역할을 나누어 볼 수 있다.
시간을 제어 변수로 사용하기
학습에서 중간 시점을 제어 변수로 넣어 추정 성분들이 시간 정보에 따라 바뀌게 한다. CoordConv 기법을 확장한 방식을 이용한다. 이를 통해 입력 두 장의 가운데 한 프레임에만 고정되지 않고 여러 중간 프레임을 만들 수 있다.
중간값을 여러 번 복제하지 않기
설명용 선형 운동에서 처음 위치 0과 마지막 위치 12 사이의 1/4 시점은 3, 3/4 시점은 9다. 가운데 위치 6을 두 번 복제하는 것은 두 시점을 보간한 결과와 다르다. 실제 모델이 선형 운동만 가정하거나 이 좌표를 출력한다는 뜻은 아니다.
관련 문서
SepConv 프레임 보간 / AdaCoF / CAIN 프레임 보간 / AMT 프레임 보간 / IFRNet / BMBC