그럴듯한 질감의 문제
생성 모형의 결과는 질감이 선명해 보여도 원본과 다를 수 있다. AHIQ은 GAN이 만든 이미지의 품질을 평가할 때 생기는 어려움을 다룬다. 작은 패치를 독립적으로 평가하면 패치 사이의 공간 관계가 충분히 표현되지 않을 수 있다는 문제의식에서 출발한다.
두 경로의 역할
ViT 경로는 패치 간 상호작용을 표현하고 CNN 경로는 지역 질감의 세부 정보를 제공한다. 두 표현을 함께 이용하는 혼합 구조다. 트랜스포머의 의미 정보를 이용한 변형 합성곱으로 얕은 CNN 특징이 시각적으로 중요한 영역에 더 집중하도록 한다.
영역 점수에서 이미지 점수로
패치별 점수를 예측하는 모듈을 통해 최종 점수를 얻는다. 영역의 세부 정보와 다른 영역과의 관계를 함께 고려하는 것이 중요하다. 전참조 품질 평가에서는 기준 이미지가 있다는 입력 조건도 유지해야 한다.
같은 질감도 다른 배치
설명용 타일 네 장에 같은 무늬를 넣더라도 경계가 이어지는 배열과 어긋난 배열은 다르게 보일 수 있다. 각 타일만 보면 놓치기 쉬운 차이다. 이는 패치 사이 관계가 필요한 이유를 설명하며 실제 논문 실험이나 특정 점수 예측을 재현한 것은 아니다.