위키득계정 ↗
기술

LPIPS

LPIPS기술
영문
Learned Perceptual Image Patch Similarity
대상
참조 기반 지각 유사도
정보
깊은 신경망 특징
값의 방향
낮을수록 유사
LPIPS는 신경망의 중간 특징을 이용해 두 이미지 패치의 지각적 차이를 평가하는 지표다. 사람의 유사도 판단과 가까운 비교를 목표로 하며 값이 낮을수록 더 비슷한 것으로 해석한다.

화소 차이와 지각 차이

같은 화소 오차라도 질감이나 구조의 변화는 사람에게 다르게 보일 수 있다. LPIPS 관련 연구는 사람의 패치 유사도 판단 자료를 만들고 여러 깊은 특징 및 전통 지표를 비교한다. 특징의 지각 유사성은 다양한 구조와 지도 방식에서 관찰된다.

특징의 보정

공식 구현은 중간 특징 위에 선형 보정을 적용하는 변형을 제공한다. 기반 신경망과 보정 설정이 다르면 결과도 달라질 수 있다. 값이 낮다는 것을 모든 종류의 품질이나 의미 정확도가 더 좋다는 주장으로 확대하면 안 된다.

비교 설정의 예

설명용으로 한 모델 설정에서 두 결과의 거리가 0.1과 0.2라면 전자가 그 설정에서 더 가깝다. 하지만 다른 기반망에서 얻은 0.1과 그대로 비교해 절대 품질을 판정할 수는 없다. 이는 해석 예제이며 실제 영상의 측정값이 아니다.

평가와 손실로 사용할 때

평가 지표뿐 아니라 미분 가능한 지각 손실로도 활용할 수 있다. 공식 구현의 RGB 입력 범위와 모델 버전 등 조건을 맞춰야 한다. 작은 글자나 얼굴 동일성의 정확성은 별도로 확인하고 화소 기준 및 시각 검사와 함께 결과를 해석한다.

관련 문서

DISTS / HiFiC / SR3 / Real-ESRGAN / 이미지 압축 / 지각 손실