명시적인 움직임 보상의 문제
저해상도 프레임의 관계를 활용할 때 명시적인 움직임 추정 오차가 고해상도 결과에 영향을 줄 수 있다. 수평과 수직 변위의 흐름 지도로 만든 워핑 격자도 추가 오차를 낼 수 있다. 이 연구는 다른 방식의 정렬과 복원을 제안한다.
대상 픽셀에 맞는 필터
국소 연결 층을 통해 표본과 위치마다 다른 동적 필터를 적용한다. 대상 픽셀에 맞는 필터로 움직임 추정과 보상을 암시적으로 수행하는 구성이다. 고정된 동일 필터를 전체 입력에 사용하는 방식과는 다르다.
전역 정제의 역할
잔차 블록과 오토인코더 구조에 기반한 전역 정제망으로 비국소 상관을 활용한다. 국소 변환만으로 다루기 어려운 공간 일관성을 보완한다. 프레임 내부의 일관성과 시간축의 일관성은 각각 확인할 항목이다.
위치별 처리의 독립 예
설명용으로 움직이는 표지판과 정지한 벽이 같은 프레임에 있을 수 있다. 두 영역에 같은 위치 이동을 가정하면 한쪽의 대응이 어긋날 수 있다. 실제 실험 결과를 옮기지 않은 위치에 따라 다른 처리의 필요성을 보여 주는 예다.
관련 문서
적응 합성곱 프레임 보간 / EAVSR / BasicVSR / RealBasicVSR / 광학 흐름 / VRT