여러 프레임이 주는 정보
한 프레임에는 뭉개진 세부가 다른 프레임에는 조금 다른 위치에 관찰될 수 있다. 이를 활용하려면 시간 정보 전달과 움직임에 따른 대응이 필요하다. BasicVSR는 이런 기능을 나누어 분석하고 영상 복원 경로를 구성한다.
네 기능의 구분
전파는 다른 시점의 정보를 전달하고 정렬은 그 정보의 위치 대응을 맞춘다. 집계는 여러 단서를 모으며 업샘플링은 고해상도 출력을 만든다. 각 기능을 구분해도 실제 모델에서는 서로 영향을 주므로 한 요소의 효과를 독립적으로 단정하기 어렵다.
정렬하지 않은 평균의 예
설명용으로 두 프레임에서 같은 밝은 점이 가로 위치 5와 7에 관찰됐다고 하자. 정렬 없이 평균하면 두 위치에 밝기가 나뉠 수 있다. 움직임을 맞추면 같은 표면의 단서를 모을 수 있지만 가림이나 대응 오류가 있으면 그 전제가 깨진다.
시간적 품질의 평가
같은 연구의 IconVSR 확장에는 정보 보충과 결합 전파가 추가되므로 기본 모델과 구분해야 한다. 프레임별 화소 정확도와 시간적 깜빡임을 함께 확인한다. 입력 구간, 미래 정보 사용 및 영상 해상도를 맞춰 메모리, 지연과 복원 품질을 비교한다.
관련 문서
EDVR / SwinIR / Real-ESRGAN / RAFT 광류 추정 / 광류 / Restormer