고해상도 복원의 부담
이미지 분류와 달리 복원은 세밀한 출력 화소를 유지해야 하는 경우가 많다. 많은 위치 사이의 관계를 직접 계산하면 고해상도에서 메모리와 연산 부담이 커진다. Restormer는 복원용 트랜스포머 블록의 효율을 다루는 모델이다.
긴 관계와 블록 설계
주의와 순전파 네트워크를 함께 설계해 큰 이미지에서도 긴 거리의 상호작용을 활용하도록 한다. 단순히 분류용 트랜스포머의 마지막 출력만 복원 이미지로 바꾼 모델로 이해하면 부족하다. 복원할 손상의 종류와 학습 조건도 중요하다.
위치 수와 쌍의 계산
설명용으로 100×100 위치의 전체 순서 쌍은 1억 개다. 두 축을 두 배로 키워 200×200으로 만들면 위치는 네 배지만 전체 쌍은 16배가 된다. 이는 순진한 전체 위치 쌍 계산의 예이며 Restormer 자체의 총 연산량을 뜻하지 않는다.
작업별 품질의 차이
잡음 제거, 움직임 흐림 및 초점 흐림의 제거는 서로 다른 관측 모형이다. 같은 복원 모델 계열이어도 작업별 학습과 성능을 나누어 확인해야 한다. 화소 오차와 시각적 선명함을 함께 비교하고 원래 관측에 없던 세부를 추정 결과만으로 사실이라고 단정하지 않는다.