압축된 입력의 복원
저해상도 영상에는 크기 축소뿐 아니라 압축으로 인한 손실도 함께 존재할 수 있다. 이런 입력을 확대하면 손실된 세부와 압축 흔적을 함께 다뤄야 한다. Swin2SR은 압축 입력을 중요한 적용 조건으로 연구한다.
Swin V2의 활용
SwinIR을 개선하는 방향으로 Swin Transformer V2를 적용한다. 트랜스포머 학습의 안정성과 사전 학습 및 미세 조정 사이의 해상도 차이를 다룬다. 기반 구조의 개선과 학습 데이터 및 비용의 영향은 구분해 비교해야 한다.
출력 크기와 압축 흔적
설명용 100×100 입력을 4배 확대하면 출력은 400×400으로 화소 수가 16배가 된다. 그러나 압축에서 사라진 정보가 16배 늘어나는 것은 아니다. 출력이 커질수록 기존 흔적이 더 눈에 띌 수 있다는 예이며 실제 모델의 배율 설정을 한 가지로 제한하지 않는다.
작업을 구분한 평가
JPEG 흔적 제거와 일반 초해상도, 경량 초해상도 및 압축 이미지 초해상도를 나누어 평가한다. 흔적을 줄이는 것과 원래 작은 글자를 정확히 복원하는 것은 다르다. 동일한 압축 조건과 배율에서 색, 경계 및 세부를 비교하고 처리 비용도 함께 확인한다.
관련 문서
BSRGAN / SwinIR / HAT 초해상도 / DAT 초해상도 / Real-ESRGAN / 비전 트랜스포머