알 수 없는 손상에서 복원하기
실제 이미지는 축소뿐 아니라 잡음, 압축과 흐림이 함께 들어갈 수 있다. 블라인드 초해상도는 입력의 정확한 열화 과정을 미리 모르는 조건을 다룬다. Real-ESRGAN은 합성 데이터로 이런 복잡한 손상을 더 가깝게 모사하려는 방법이다.
여러 열화 과정의 결합
단순한 한 번의 축소만으로 학습하는 대신 고차 열화 과정과 링잉 및 오버슈트 같은 현상을 고려한다. 판별기의 표현과 학습 안정성도 함께 설계한다. 합성 방식이 풍부해도 모든 실제 카메라나 편집 과정의 손상을 포함하는 것은 아니다.
처리 순서가 중요한 예
설명용으로 영상에 잡음을 넣은 뒤 평균 축소하면 여러 화소의 잡음이 함께 평균된다. 먼저 축소한 뒤 새 잡음을 넣는 경우와 분포가 같지 않을 수 있다. 열화 종류뿐 아니라 순서가 중요하다는 예이며 실제 학습의 고정 연산 목록을 지정한 것은 아니다.
복원 세부의 해석
적대적 학습은 그럴듯한 질감을 만들 수 있지만 그것이 원본의 세부라는 보장은 없다. 글자나 반복 무늬는 선명해져도 잘못 바뀔 수 있어 입력 및 가능한 정답과 비교해야 한다. 시각 품질과 화소 오차, 확대 배율 및 전체 처리 비용을 함께 평가한다.