더 넓은 입력 활용
출력 화소를 복원할 때 활용하는 입력 범위가 넓으면 먼 위치의 반복 구조도 단서가 될 수 있다. HAT는 기존 트랜스포머 복원의 입력 활용 범위에 대한 분석에서 출발한다. 더 많은 입력을 활용한다는 것과 원본 세부를 확실히 복원한다는 것은 다른 주장이다.
두 종류의 어텐션
채널 어텐션으로 전역 통계를 활용하고 윈도 자기 어텐션으로 국소 관계를 다룬다. 겹치는 교차 어텐션 모듈은 이웃 윈도 특징 사이의 상호작용을 강화한다. 윈도 내부 처리와 윈도 사이의 정보 전달을 함께 설계한 구성이다.
윈도 경계의 예
설명용 1차원 위치 1부터 8을 네 개씩 묶으면 위치 4와 5는 서로 다른 윈도에 속한다. 두 위치는 가까워도 윈도 내부 계산만으로는 직접 연결되지 않는다. 경계를 넘는 정보 전달의 의미를 보여주는 예이며 실제 모듈의 윈도 크기나 연결 규칙은 아니다.
학습과 복원 품질
같은 작업의 사전 학습 전략과 모델 규모 확대도 연구한다. 구조 효과와 학습 데이터 및 모델 크기의 효과를 구분해야 한다. 확대된 글자나 반복 무늬가 그럴듯해도 실제 원본과 다를 수 있으므로 화소 점수와 세부 구조를 함께 확인한다.
관련 문서
DAT 초해상도 / SwinIR / RCAN / EDSR / Real-ESRGAN / 비전 트랜스포머