전체 병렬과 한 프레임 순환 사이
모든 프레임을 한꺼번에 처리하면 시간 정보 결합에 유리할 수 있지만 메모리 부담이 커진다. 한 프레임씩 순환 처리하면 공유가 쉽지만 병렬화와 긴 관계에 제약이 생길 수 있다. RVRT는 클립 단위 처리를 결합해 두 방식의 균형을 다룬다.
클립 단위의 특징 연결
영상은 여러 클립으로 나누고 앞서 추정한 클립 특징을 다음 클립의 추정에 사용한다. 클립 안의 프레임 특징은 공동으로 갱신한다. 클립 경계를 만든다는 것이 실제 장면 전환을 자동으로 발견했다는 뜻은 아니다.
처리 묶음의 예
설명용으로 12프레임을 세 프레임씩 나누면 네 클립이 된다. 각 클립 내부 연산을 병렬화해도 다음 클립이 이전 특징을 필요로 한다면 네 클립을 모두 독립적으로 동시에 끝낼 수는 없다. 실제 클립 길이나 전체 지연을 지정한 계산은 아니다.
클립 정렬과 평가
안내된 변형 주의는 앞 클립의 관련 위치들을 찾아 특징을 모으는 정렬에 사용한다. 가림과 빠른 움직임에서 잘못된 대응이 이어질 수 있다. 초해상도, 흐림 및 잡음 제거를 구분하고 같은 클립 길이와 해상도에서 품질, 메모리 및 전체 실행 지연을 비교한다.
관련 문서
BasicVSR 플러스 / BasicVSR / EDVR / SwinIR / Restormer / Video Swin Transformer