위키득계정 ↗
기술

SRNO

SRNO기술
영문
Super-Resolution Neural Operator
관점
함수 공간 사이의 매핑
주요 연산
커널 적분
구현 요소
Galerkin 계열 어텐션
SRNO는 저해상도와 고해상도 이미지를 서로 다른 격자로 관측한 연속 함수로 보고 그 함수 공간 사이의 대응을 학습하는 초해상도 방법이다. 커널 적분과 Galerkin 계열 어텐션으로 넓은 공간 정보를 활용한다.

격자가 다른 함수 표현

보통 초해상도는 작은 화소 배열을 큰 화소 배열로 바꾸는 문제로 설명한다. SRNO는 두 배열을 연속 함수를 서로 다른 격자로 근사한 것으로 해석한다. 좌표마다 색을 독립적으로 읽는 관점에 더해 함수 전체 사이의 관계를 학습한다.

잠재 표현과 반복 갱신

저해상도 입력을 높은 차원의 잠재 공간으로 옮기고 커널 적분으로 암시적 이미지 함수를 반복 근사한다. 여러 어텐션 층을 거치며 잠재 기저가 갱신되고 목표 좌표의 RGB로 변환된다. Galerkin 계열 어텐션은 비국소 공간 상호작용을 효율적으로 구현하는 역할을 한다.

질의 수의 예

설명용 정사각 영상에서 한 변의 출력 위치를 20개에서 40개로 늘리면 전체 질의 위치는 400개에서 1,600개가 된다. 격자를 바꿔 표현해도 계산해야 할 출력 위치는 늘어난다. 이 예는 모델 전체의 정확한 시간 복잡도나 실제 출력 설정을 나타내지 않는다.

연속 표현과 실제 정보

격자에 덜 묶인 표현을 학습한다는 것과 임의 해상도에서 관측되지 않은 정보를 정확히 복원한다는 것은 다르다. 높은 주파수의 질감은 추정된 결과일 수 있다. 배율별 품질과 실행 시간을 함께 확인하고 반복 무늬 및 작은 글자의 정확성도 살핀다.

관련 문서

LTE 초해상도 / LIIF / Meta-SR / 푸리에 신경 연산자 / SIREN / 초해상도