혼합 구조의 목적
초해상도에서는 작은 질감의 처리와 먼 위치의 문맥 활용이 함께 필요하다. ESRT는 합성곱망과 트랜스포머를 결합해 이러한 정보를 다룬다. 트랜스포머만으로 모든 단계를 구성하는 모델과 구별된다.
가벼운 두 경로
합성곱 기반 경로는 특징맵의 크기를 동적으로 조절하며 깊은 특징을 추출한다. 트랜스포머 기반 경로는 효율적인 어텐션을 적용한 블록들로 구성된다. 각 경로의 비용을 줄이는 설계와 최종 확대 영상의 품질을 함께 평가해야 한다.
위치 수와 메모리
설명용 특징맵이 80×80이면 위치는 6,400개이고 40×40이면 1,600개다. 위치 수는 4분의 1이지만 채널 수나 중간 텐서가 달라지면 전체 메모리가 같은 비율로 줄지는 않는다. 이는 크기 조절의 개념 예제이며 실제 모델의 해상도 설정이 아니다.
실행 조건의 영향
모델의 효율은 입력 크기와 확대 비율, 장치 및 정밀도에 따라 달라진다. 특정 실험의 메모리 수치를 모든 환경의 보장값으로 쓰면 안 된다. 같은 조건에서 처리 시간과 최대 메모리를 측정하고 반복 무늬와 글자 같은 세부의 복원도 함께 살핀다.