고정 축소 가정의 한계
학습에서 고해상도 영상을 특정 커널로 줄였더라도 실제 입력이 같은 방식으로 만들어졌다고 보장할 수 없다. DynaVSR은 현재 입력에 맞는 축소 모형을 추정하고 적응하는 방향을 연구한다. 블라인드라는 말은 아무 가정이나 학습 자료도 없다는 뜻은 아니다.
축소와 복원의 연결
여러 합성 흐림 커널로 다중 프레임 축소 모듈을 학습한다. 이 모듈을 영상 초해상도망과 결합해 입력을 고려한 적응을 수행한다. 모든 영상에 대해 완전히 새로운 네트워크를 처음부터 학습하는 방식과 구별된다.
서로 다른 축소의 예
설명용 배열 (0, 10)을 두 값의 평균으로 줄이면 5지만 첫 값만 선택하면 0이다. 같은 원본도 축소 방식에 따라 관측이 다르다. 입력 열화 추정이 중요한 이유를 보여주는 예이며 실제 모듈이 이 두 축소만 사용한다는 뜻은 아니다.
적응 비용과 품질
입력 적응에는 추가 계산이 필요할 수 있으므로 복원망 한 번의 실행 시간만 비교하면 부족하다. 서로 다른 흐림과 움직임에서 경계 및 반복 질감, 시간적 일관성을 확인한다. 학습 조건과 입력 적응 조건을 구분하고 전체 처리 시간을 함께 살핀다.
관련 문서
TOFlow / RealBasicVSR / BasicVSR / EDVR / BSRGAN / 초해상도