움직임이 다른 프레임 합치기
여러 프레임은 복원 단서를 늘릴 수 있지만 물체와 카메라가 움직여 위치가 달라진다. EDVR는 화소를 그대로 평균내는 대신 특징 수준에서 정렬한다. 큰 움직임과 서로 다른 흐림 정도를 함께 다루는 것이 목적이다.
거친 범위에서 세밀하게 정렬
PCD 모듈은 피라미드 및 계단식 구성과 변형 합성곱으로 정렬한다. 거친 해상도의 단서를 활용하고 더 세밀한 특징 대응으로 이어간다. 학습된 표본 위치가 실제 장면의 정확한 물리적 운동을 직접 측정한 결과는 아니다.
시공간 가중치의 예
설명용으로 대응이 맞는 두 특징 값이 2와 8이고 반영 비율이 0.8과 0.2이면 가중합은 3.2다. 반영 비율을 바꾸면 출력도 달라진다. 이는 정보 결합의 예이며 실제 TSA가 두 값의 단순 평균만 계산한다는 뜻은 아니다.
정렬과 주의의 검증
TSA는 시간과 공간의 중요한 특징을 강조해 후속 복원에 활용한다. 강한 흐림이나 가림에서 잘못된 정렬이 섞일 수 있어 정렬 품질과 최종 품질을 나누어 확인한다. 프레임 수와 입력 해상도를 맞추고 순간 선명함뿐 아니라 연속 프레임의 일관성 및 전체 실행 비용을 비교한다.
관련 문서
BasicVSR / SwinIR / Real-ESRGAN / RAFT 광류 추정 / 광류 / 합성곱 신경망