위키득계정 ↗
기술

MANIQA

MANIQA기술
영문
Multi-dimension Attention Network for Image Quality Assessment
평가 방식
원본 참조 없음
특징 추출
ViT
집계
패치 가중 품질 예측
MANIQA는 참조 원본 없이 이미지의 지각 품질을 예측하는 다차원 어텐션 신경망이다. 비전 트랜스포머 특징에 채널과 공간 상호작용을 더하고 패치별 품질과 중요도를 결합한다.

참조 없는 품질 평가

원본 영상이 없으면 화소 차이를 직접 비교할 수 없다. MANIQA는 학습한 시각 특징으로 사람의 지각 품질에 맞는 점수를 예측한다. 특히 GAN 기반 왜곡 영상의 평가를 개선하려는 문제에서 출발한다. 원본이 필요 없다는 것이 품질 판단의 정답이 필요 없다는 뜻은 아니다.

여러 차원의 상호작용

ViT로 특징을 추출하고 전치 어텐션 블록 TAB와 스케일 Swin 블록 SSTB를 사용한다. 각각 채널 및 공간 차원의 상호작용을 강화한다. 전역 및 국소 영역을 함께 살피도록 두 관점을 결합한다.

패치 가중치의 예

설명용 패치 점수가 2와 8이고 정규화 가중치가 0.75와 0.25라면 집계값은 3.5다. 단순 평균 5와 다르다. 패치별 점수와 중요도가 함께 영향을 준다는 예이며 실제 출력 범위나 가중치 계산식을 나타내지는 않는다.

점수와 사실 정확도

두 갈래 구조로 패치 점수 및 가중치를 예측해 최종 점수를 만든다. 지각 품질이 높다고 글자의 내용이나 얼굴의 동일성이 정확하다고 결론 내릴 수는 없다. 평가 자료와 입력 전처리를 맞추고 원본 기반 지표 및 실제 시각 검사와 함께 결과를 해석한다.

관련 문서

MUSIQ / LPIPS / DISTS / HiFiC / GFPGAN / 비전 트랜스포머