움직임과 합성을 하나의 과정으로
입력 프레임에 공간적으로 달라지는 커널을 적용해 움직임 대응과 재샘플링을 함께 다룬다. SepConv는 이를 국소 분리 합성곱으로 구성한다. 서로 다른 출력 위치가 같은 커널을 공유하는 일반적인 합성곱과 구별된다.
분리 가능한 커널
큰 움직임을 다루는 넓은 2차원 커널은 화소마다 저장해야 할 값이 많아질 수 있다. 1차원 커널 쌍으로 표현하면 예측할 값이 줄어든다. 이런 표현은 임의의 모든 2차원 커널과 동일한 자유도를 갖는 것은 아니다.
값의 수 비교
설명용 5×5 커널은 값 25개를 갖는다. 길이가 각각 5인 두 벡터의 바깥곱으로 나타내면 벡터 값은 10개다. 저장할 값은 줄지만 하나의 바깥곱이 나타낼 수 있는 행렬에는 제약이 있다. 이는 개념 예제이며 실제 모델의 커널 크기는 아니다.
전체 프레임의 학습
완전 합성곱망이 두 입력 프레임에서 여러 위치의 커널을 함께 예측한다. 전체 프레임을 합성할 수 있어 지각 손실을 이용하는 학습도 연구한다. 시각적 자연스러움과 경계 위치의 정확성을 함께 살피고 큰 움직임에서 남는 왜곡 및 실행 비용을 확인한다.
관련 문서
AdaCoF / CAIN 프레임 보간 / FLAVR / RIFE / 소프트맥스 스플래팅 / 합성곱 신경망