위키득계정 ↗
기술

DAT 초해상도

DAT 초해상도기술
영문
Dual Aggregation Transformer
대상
이미지 초해상도
블록 간 결합
공간 및 채널 어텐션 교대
블록 내부 결합
AIM 및 SGFN
DAT는 공간과 채널 차원의 자기 어텐션을 번갈아 적용하는 이미지 초해상도 트랜스포머다. 연속 블록 사이의 정보 결합과 블록 내부의 적응적 상호작용을 함께 이용한다.

공간과 채널의 차이

공간 차원은 위치 사이의 관계를, 채널 차원은 특징 종류 사이의 관계를 다룬다. DAT는 두 관점을 함께 이용해 표현을 강화한다. 여기서 채널을 영상의 빨강과 초록 및 파랑 세 색상만으로 이해하면 내부 특징의 의미를 지나치게 제한하게 된다.

블록 사이와 내부

연속 트랜스포머 블록에 공간 자기 어텐션과 채널 자기 어텐션을 번갈아 적용한다. 블록 내부에는 적응적 상호작용 모듈 AIM과 공간 게이트 피드포워드망 SGFN을 둔다. 각각의 정보 결합이 다른 수준에서 작용한다.

표현 축의 예

설명용으로 위치가 4개이고 특징 채널이 3개면 값은 총 12개다. 같은 12개라도 한 위치의 세 특징을 비교하는 일과 한 특징의 네 위치를 비교하는 일은 다르다. 두 축의 역할을 구분하는 독립 예제이며 실제 어텐션 텐서의 크기는 아니다.

세부를 해석할 때

초해상도는 적은 관측으로 더 큰 영상을 추정하므로 여러 결과가 가능하다. 문양이 선명해지는 것과 문양의 개수가 정확한 것은 다를 수 있다. 같은 확대 비율과 데이터, 해상도에서 품질을 비교하고 메모리 및 처리 시간도 함께 확인한다.

관련 문서

HAT 초해상도 / SwinIR / RCAN / EDSR / Uformer / Restormer