정보만 전파되는 것은 아니다
여러 프레임의 정보를 사용하면 한 장에서 약한 세부를 보완할 수 있다. 하지만 심한 잡음이나 압축 흔적도 시간 방향으로 전파되면 더 크게 드러날 수 있다. RealBasicVSR은 전파 전에 영상을 정리하는 단계를 두어 이를 다룬다.
정리와 세부의 균형
정리 모듈은 잡음 및 인공 흔적을 줄이는 역할을 한다. 너무 약하면 열화가 남고 너무 강하면 실제 질감까지 사라질 수 있다. 한 프레임에서 깨끗해 보이는 것과 영상 전체의 세부 및 시간 일관성이 좋은 것은 함께 평가해야 한다.
길이와 배치의 차이
설명용으로 2개 영상에서 각각 8프레임을 쓰는 경우와 4개 영상에서 각각 4프레임을 쓰는 경우는 총 16프레임이다. 하지만 한 영상 안의 연속 길이는 다르다. 같은 총량이 같은 시간 정보를 의미하지 않는 예이며 실제 학습 설정은 아니다.
학습과 실제 영상 평가
확률적 열화 구성으로 학습 효율을 다루고 긴 시퀀스 및 배치 크기의 절충도 분석한다. 다양한 실제 저품질 영상을 포함한 VideoLQ를 제안한다. 합성 점수와 실제 영상의 깜빡임 및 반복 질감을 나누어 확인하고 전체 처리 비용을 비교한다.
관련 문서
RealViformer / BasicVSR / BasicVSR 플러스 / RVRT / EDVR / BSRGAN