여러 프레임의 단서
연속 프레임에는 같은 장면에 대한 반복 관측이 있을 수 있다. 이를 이용하면 한 프레임의 잡음을 줄이는 데 도움이 된다. 하지만 대상이나 카메라가 움직이면 같은 좌표가 같은 표면을 가리키지 않을 수 있어 프레임 사이의 대응이 중요하다.
움직임 보정의 역할
DVDnet은 움직임 보정을 활용하는 영상 잡음 제거 구조다. 공식 비교에서는 광류 맵 계산에 DeepFlow를 사용한다. 단일 프레임의 공간 처리만이 아니라 시간 정보를 결합하는 과정과 그 비용을 함께 고려해야 한다.
평균과 움직임의 예
설명용으로 한 위치의 밝은 점이 다음 프레임에서 한 칸 이동했다고 하자. 정렬 없이 두 프레임을 평균하면 두 위치에 약한 점이 남을 수 있다. 여러 프레임을 모으는 것만으로 충분하지 않다는 예이며 실제 DVDnet이 단순 평균만 수행한다는 뜻은 아니다.
속도와 품질의 확인
하나의 모델에서 여러 잡음 수준을 다루는 구성을 연구한다. 합성 잡음에서 좋은 결과가 모든 실제 카메라 잡음에 그대로 이어지는 것은 아니다. 잔여 잡음과 작은 질감, 시간적 흔들림을 살피고 움직임 보정을 포함한 전체 실행 시간을 비교한다.
관련 문서
FastDVDnet / RealBasicVSR / RealViformer / DnCNN / FFDNet / 광류