잡음이 흐름 추정도 어렵게 할 때
가까운 프레임을 함께 사용하면 잡음을 줄일 단서가 늘어날 수 있다. 하지만 정렬에 필요한 광학 흐름 자체도 잡음의 영향을 받는다. 잡음이 큰 입력에 일반 흐름 추정기를 그대로 사용하는 것만으로 충분하다고 보기 어렵다.
잡음 제거에 맞춘 흐름
잡음 제거 지향 흐름 정제 모듈에서 강건한 다중 규모 흐름을 학습한다. 다른 과제에서 얻은 흐름을 고정적으로 사용하는 대신 복원 목적에 맞는 흐름을 준비하는 방향이다. 정확한 정렬과 세부 보존을 함께 고려한다.
규모별 흐름 전파
흐름 안내 상호 전파 모듈은 저해상도부터 고해상도로 더 많은 흐름 정보를 점진적으로 넣고 정제한다. 실제 잡음 열화 합성과 함께 합성 및 실제 영상 조건을 다룬다. 한 종류의 합성 잡음에서 얻은 결과를 모든 촬영 조건으로 일반화할 수는 없다.
정렬 오차의 독립 예
설명용으로 한 프레임의 가는 선을 옆 프레임의 배경과 잘못 맞추어 평균내면 잡음과 함께 선도 약해질 수 있다. 프레임 수가 늘어나는 것만으로 좋은 복원이 보장되지는 않는다. 실제 연구 결과를 옮기지 않은 정렬과 잡음 제거의 관계에 대한 예다.
관련 문서
광학 흐름 / DVDNet / FastDVDNet / BasicVSR / VRT / RealBasicVSR