복원을 위한 계층 구조
영상 복원에서는 넓은 문맥과 작은 질감이 함께 필요하다. Uformer는 특징을 여러 규모로 처리하고 디코더에서 복원한다. U자형 구조와 트랜스포머를 결합한다는 설명만으로 모든 층이 전체 화소 사이의 어텐션을 계산한다고 해석하면 안 된다.
겹치지 않는 윈도
LeWin 블록은 전체 특징맵의 전역 어텐션 대신 겹치지 않는 윈도 안에서 자기 어텐션을 수행한다. 국소 문맥을 활용하면서 고해상도 특징 처리 부담을 줄이려는 구성이다. 윈도 크기와 계층 구조는 함께 고려해야 한다.
쌍의 수를 비교하는 예
설명용으로 64개 위치를 8개씩 묶어 8개 윈도로 나누면 윈도 내부 순서 있는 쌍은 8×8×8=512개다. 전체 위치 사이의 64×64=4,096개보다 적다. 이는 어텐션 관계 수만 비교한 것이며 모델 전체의 연산량이나 실제 윈도 설정은 아니다.
디코더 특징의 조정
학습 가능한 다중 규모 공간 편향으로 디코더 여러 층의 특징을 조절한다. 잡음 제거, 움직임 및 초점 흐림 제거, 빗줄기 제거에서 구조를 평가한다. 같은 구조를 쓴다는 것과 하나의 학습된 가중치가 모든 열화를 동일하게 처리한다는 주장은 구분해야 한다.
관련 문서
MAXIM 이미지 복원 / Restormer / DehazeFormer / SwinIR / MIMO-UNet / 비전 트랜스포머