BasicVSR 플러스

전파와 정렬을 개선하기

여러 프레임의 정보가 있어도 잘못된 위치에 섞이면 복원 품질이 떨어질 수 있다. BasicVSR 플러스는 기존 BasicVSR의 순환적 복원 경로에서 정보 전달과 정렬을 다시 설계한다. 같은 모델을 단순히 더 오래 실행하는 것과는 구성의 차이가 있다.

광류로 안내하는 변형 정렬

광류는 프레임 사이의 움직임에 대한 단서를 주고 변형 정렬은 특징의 대응을 조정한다. 광류 안내와 학습된 정렬을 결합해 어긋난 영상 정보를 활용한다. 광류가 실제 물리적 움직임의 완전한 정답이라는 가정은 아니다.

앞선 시점의 단서 예

설명용으로 직전 프레임에서는 글자 일부가 가렸지만 두 프레임 전에는 보였다고 하자. 정보 전달 경로가 여러 시점의 관측을 유지하면 추가 단서가 될 수 있다. 과거에 보인 글자가 지금도 동일한 표면에 있다는 대응을 확인해야 하며 실제 전파 수식 전체를 나타낸 예는 아니다.

비용과 영상 일관성

매개변수 수가 비슷하더라도 정렬과 전파의 경로가 달라지면 메모리 및 실행 시간은 다를 수 있다. 초해상도와 압축 영상 개선의 평가 조건도 구분한다. 미래 프레임 사용 여부, 영상 길이 및 해상도를 맞춰 프레임 정확도와 시간적 깜빡임 및 전체 지연을 비교한다.