실제 영상에서의 정렬
합성 자료에 맞춘 초해상도는 실제 촬영의 복잡한 열화와 프레임 정렬 문제를 충분히 다루지 못할 수 있다. EAVSR는 프레임 사이 정렬을 개선해 실세계 영상의 고해상도 복원을 돕는 접근이다.
오프셋을 여러 층에서 정제하기
사전 학습 광학 흐름 추정망이 제공한 오프셋을 다층 적응 공간 변환망으로 정제한다. 처음 얻은 대응을 그대로 쓰기보다 복원에 필요한 정렬을 보완한다. 정렬이 좋아지는 것과 입력에 없는 미세 정보까지 실제대로 복원하는 것은 구분해야 한다.
실제 촬영 영상 쌍
관련 연구는 스마트폰의 서로 다른 초점거리 렌즈로 저해상도와 고해상도 영상을 촬영한 MVSR4 배율 자료를 제안한다. 실제 영상 쌍을 이용한 평가와 단순 축소 합성 자료의 평가는 같은 조건이 아니다. 촬영과 정렬의 차이가 평가에 영향을 줄 수 있다.
어긋난 세부의 독립 예
설명용으로 연속 프레임의 작은 창틀이 조금 어긋난 상태로 합쳐지면 윤곽이 두 겹처럼 나타날 수 있다. 해상도를 높이는 것과 대응 위치를 바로잡는 일은 다른 역할이다. 실제 실험 프레임을 옮기지 않은 정렬 필요성의 예다.
관련 문서
RealBasicVSR / RealViformer / BasicVSR / BasicVSR 플러스플러스 / 광학 흐름 / VRT