두 공간을 사용하는 이유
큰 이미지의 세부를 보존하면서 계산 부담을 줄이는 것이 목표다. 고해상도 공간에서는 여러 수준의 특징을 학습하고 낮은 해상도의 특징과 융합해 잔차 영상을 복원한다. 저해상도 공간은 고해상도에서 가져온 정보를 이용해 더 대표적인 특징을 학습한다.
상관관계에 따른 변환
DualCMT는 고해상도 특징의 최대 및 평균 풀링 결과에서 상관관계가 높은 채널을 골라 저해상도 트랜스포머 특징에 전달한다. 모든 고해상도 정보를 그대로 복제하는 대신 유용한 정보를 압축해 전달하려는 구조다.
채널을 적응적으로 조정하기
ACM은 여러 수준의 고해상도 특징을 적응적으로 조정한다. 이를 통해 낮은 해상도 공간에 더 유용한 특징을 제공한다. 저조도 개선과 안개 제거, 흐림 제거 같은 복원 과제를 다루지만 이들이 같은 종류의 열화라는 뜻은 아니다.
선택 수의 예
채널 수 C가 64이고 압축 조절값 r이 4인 설명용 설정에서는 C/r이 16이다. 채널을 고르는 수의 의미를 보여주는 계산이다. 전체 모형의 메모리나 실행 시간이 반드시 4분의 1이 된다는 결론은 나오지 않으며 실제 설정을 나타내는 예도 아니다.
관련 문서
U2-Former / Restormer / Uformer / MAXIM 이미지 복원 / DehazeFormer / NAFNet