픽셀에서 특징으로
IQT는 두 이미지에서 CNN을 통해 지각 특징 표현을 얻는다. 단순한 픽셀 차이만 계산하는 대신 추출된 특징을 이후 비교 단계에 사용한다. 기준 이미지가 필요한 전참조 모형이므로 평가 대상 사진만으로 점수를 내는 무참조 방식과 입력 조건이 다르다.
인코더와 디코더
특징 맵을 트랜스포머 인코더 및 디코더에 넣어 두 이미지의 관계를 비교한다. 위치 임베딩과 별도로 학습하는 품질 임베딩을 사용한다. 트랜스포머의 출력은 예측 헤드로 전달되어 최종 품질 점수가 된다.
위치가 빠지면 놓치는 것
설명용 두 칸의 특징이 (1, 3)인 경우와 (3, 1)인 경우는 성분의 종류와 평균이 같다. 그러나 어느 위치에 무엇이 있었는지는 다르다. 위치 정보를 함께 표현해야 하는 이유를 설명하는 예이며 실제 IQT 특징 차원이나 출력값은 아니다.
평가 조건 맞추기
학습형 지각 평가에서는 자료의 왜곡 종류와 전처리 조건을 함께 확인해야 한다. 생성 모형의 결과를 평가하는 경우에도 그럴듯한 모양과 기준 내용의 일치를 구분할 필요가 있다. 서로 다른 입력 설정에서 얻은 점수를 곧바로 하나의 척도로 섞어 해석하지 않는다.