위키득계정 ↗
기술

LIIF

LIIF기술
영문
Local Implicit Image Function
입력
좌표 및 주변 이미지 특징
출력
질의 위치의 RGB
대상
연속 이미지 표현과 초해상도
LIIF는 이미지 좌표와 그 주변의 깊은 특징을 받아 해당 위치의 색을 예측하는 국소 암시적 이미지 함수다. 고정된 화소 배열 대신 연속 좌표에서 질의할 수 있는 표현으로 이미지를 다룬다.

배열 대신 좌표 질의

보통 이미지는 정해진 가로세로 크기의 화소 배열로 저장한다. LIIF는 좌표에 대해 색을 반환하는 함수 관점으로 이미지를 표현한다. 인코더가 만든 국소 특징을 좌표와 함께 이용하므로 모든 이미지에 같은 색 함수만 적용하는 방식은 아니다.

국소 특징의 역할

질의 위치 주변의 특징에는 해당 이미지의 내용이 담긴다. 디코더는 위치 정보와 이 특징을 받아 색을 예측한다. 좌표를 연속적으로 선택할 수 있어 원하는 출력 해상도에 맞춰 질의할 수 있다.

해상도와 관측 정보

설명용으로 10×10 입력에서 25×25 출력을 만들면 625개 위치의 색을 얻는다. 그렇다고 독립적인 실측값이 100개에서 625개로 늘어난 것은 아니다. 출력 격자의 촘촘함과 원래 관측 정보의 양은 다르다는 예이며 모델의 실제 입력 크기는 아니다.

학습 범위 밖의 확대

초해상도 과제로 인코더와 연속 표현을 함께 학습하고 학습에 없는 높은 확대 비율에서도 출력을 평가한다. 원하는 해상도로 표현할 수 있다는 것과 모든 확대 비율에서 원본 질감이 정확하다는 것은 다르다. 질의 수에 따른 실행 비용과 가는 경계의 복원을 함께 확인한다.

관련 문서

Meta-SR / SIREN / 푸리에 특징 매핑 / SwinIR / EDSR / 초해상도