열화 가정의 차이
깔끔한 영상을 일정한 방식으로 줄인 학습 자료는 실제 사진의 복잡한 열화를 충분히 나타내지 못할 수 있다. BSRGAN은 복원망만 바꾸는 대신 저품질 학습 영상을 만드는 과정을 확장한다. 학습할 열화의 범위가 복원 결과에 영향을 준다.
여러 열화의 조합
등방 및 비등방 가우시안 흐림, 여러 보간 방식의 축소와 다양한 잡음 및 JPEG 압축을 조합한다. 카메라 신호 처리와 센서 잡음 모형도 활용한다. 열화의 순서를 섞어 서로 다른 저품질 관측을 만든다.
순서가 중요한 예
설명용 두 화소에 각각 +2와 −2의 잡음을 더한 뒤 평균하면 잡음이 상쇄된다. 먼저 평균한 값에 +2를 더하면 상쇄되지 않는다. 연산 순서가 관측에 영향을 줄 수 있다는 예이며 실제 합성 파이프라인이 이 두 화소 연산으로 구성된다는 뜻은 아니다.
실제 사진에서의 해석
합성 열화를 다양화해도 모든 카메라와 압축 방식이 포함되는 것은 아니다. 결과가 선명해 보여도 작은 질감은 추정된 것일 수 있다. 글자와 반복 무늬의 정확성을 따로 확인하고 실제 열화 및 합성 열화에서 품질을 나누어 평가한다.
관련 문서
Swin2SR / Real-ESRGAN / SwinIR / GFPGAN / DPIR / 초해상도