이미지 복원용 특징 계층
입력에서 기초 특징을 만들고 깊은 특징을 추출한 뒤 복원 이미지를 재구성한다. 깊은 부분에는 여러 Swin 층과 잔차 연결을 가진 블록을 사용한다. 이미지의 분류 이름을 출력하는 모델과 달리 공간적인 출력 정보를 보존하는 복원 작업이다.
여러 복원 작업
해상도를 높이는 작업, 잡음을 줄이는 작업과 JPEG 압축 손상을 줄이는 작업을 다룬다. 같은 모델 계열이라는 사실이 모든 손상을 하나의 동일한 학습 설정으로 해결한다는 뜻은 아니다. 입력의 열화 과정과 작업별 구성도 확인해야 한다.
초해상도의 크기 예
설명용으로 120×80 이미지를 가로세로 각각 네 배로 확대하면 480×320이고 출력 화소 수는 16배다. 출력 위치가 늘어도 원래 관측 정보가 같은 비율로 늘지는 않는다. 가려진 세부는 학습한 사전 지식에 따른 추정일 수 있다.
선명함과 원본 일치
선명해 보이는 질감과 실제 고해상도 정답에 가까운 결과는 다를 수 있다. 화소 기반 지표와 시각 품질을 함께 확인하고 학습과 다른 압축 및 잡음 조건을 따로 평가한다. 입력 해상도, 확대 배율과 기기를 맞춰 메모리 및 실행 시간도 비교한다.
관련 문서
Restormer / NAFNet / Real-ESRGAN / 비전 트랜스포머 / 합성곱 신경망 / Video Swin Transformer