어긋난 프레임의 정보
인접 프레임은 같은 장면을 담아도 움직임 때문에 위치가 어긋날 수 있다. VRT는 시간 정보를 결합하면서 움직임과 정렬을 함께 다룬다. 여러 프레임을 사용한다는 사실만으로 각 위치의 대응이 자동으로 정확해지는 것은 아니다.
작은 클립과 교차 연결
여러 규모에서 작은 클립에 상호 어텐션을 적용해 움직임 추정과 특징 정렬 및 융합을 수행한다. 자기 어텐션은 특징 추출에 이용한다. 층을 번갈아 가며 시퀀스를 이동시켜 다른 클립 사이의 상호작용도 지원한다.
클립 경계의 예
설명용으로 프레임 1부터 8을 두 개씩 묶으면 4번과 5번은 서로 다른 묶음이다. 묶음 경계가 이동하면 두 프레임이 같은 묶음에 들어갈 수 있다. 경계를 넘는 정보 전달의 예이며 실제 모델의 클립 길이나 이동 규칙을 나타내지는 않는다.
병렬 복원과 비용
이웃 프레임의 특징을 병렬로 워핑해 정보 융합을 보완한다. 초해상도와 흐림 제거, 잡음 제거 및 프레임 보간 같은 작업을 평가한다. 병렬 예측 능력과 실제 처리량은 다르므로 입력 길이에 따른 메모리 및 실행 시간, 시간적 깜빡임을 함께 확인한다.
관련 문서
Shift-Net / RVRT / RealViformer / BasicVSR 플러스 / EDVR / FastDVDnet