보정 단계를 생략하는 구조
영상 잡음 제거에서 광류를 먼저 계산하면 추가 시간과 정렬 오차가 생길 수 있다. FastDVDnet은 비싼 움직임 보정 단계를 별도로 사용하지 않도록 설계한다. 그렇다고 움직이는 대상의 정보를 고려하지 않는 단일 프레임 처리라는 뜻은 아니다.
두 단계의 프레임 결합
연속 다섯 프레임을 이용해 가운데 프레임을 복원한다. 첫 단계에서 겹치는 세 프레임 묶음을 처리하고 다음 단계에서 그 결과를 결합한다. 잡음 제거 블록은 수정한 다중 규모 U-Net 구조이며 잡음 맵도 입력으로 사용한다.
미래 프레임과 지연
설명용 30fps 영상에서 가운데 프레임 뒤의 두 프레임을 기다리면 관측 대기에 약 2/30초가 필요하다. 신경망 처리 시간은 여기에 별도다. 이는 입력 창에 따른 지연 예제이며 실제 장치의 전체 지연을 측정한 값은 아니다.
잡음 수준과 세부 보존
잡음 맵은 입력 잡음의 예상 수준을 알려 준다. 실제 수준과 크게 다르면 잡음이 남거나 세부가 지나치게 줄어들 수 있다. 실시간 여부는 해상도와 장치에 따라 확인하고 프레임별 품질뿐 아니라 깜빡임 및 움직임 경계의 결과를 함께 살핀다.
관련 문서
DVDnet / RealBasicVSR / RealViformer / FFDNet / DnCNN / RVRT