점수 자료에 대한 의존 줄이기
자료 편향과 주관적 점수 의존은 새로운 왜곡에 대한 일반화를 어렵게 할 수 있다. HiRQA는 순위 학습과 대조 학습을 결합해 계층적인 품질 표현을 만드는 접근이다. 합성 왜곡으로 학습한 표현이 실제 열화에도 옮겨지는지 평가한다.
관계와 거리의 정렬
왜곡 쌍 사이의 상대 순서를 이용하는 고차 순위 손실을 도입한다. 임베딩 거리 손실은 특징 사이의 거리와 지각 차이의 일관성을 다룬다. 단순히 물체 종류가 같은 사진을 가깝게 놓는 것과 품질 차이를 표현하는 목적은 다르다.
학습 때의 텍스트 안내
구조화된 텍스트 프롬프트의 안내를 받는 대조 정렬 손실을 학습 중 사용한다. 추론에서는 평가 이미지 한 장만으로 품질을 예측한다. 학습 보조 정보가 있다는 사실을 사용자가 매번 텍스트나 원본을 입력해야 한다는 뜻으로 혼동하지 않아야 한다.
순서와 거리의 독립 예
설명용으로 세 왜곡 수준의 표현 좌표가 0, 1, 10이면 순서는 보존되지만 간격은 크게 다르다. 순서를 맞히는 제약과 표현 거리의 의미를 맞추는 제약은 역할이 다르다. 실제 임베딩이나 손실식, 품질 점수를 나타내는 예는 아니다.
관련 문서
MDFS 품질 평가 / RankIQA / CONTRIQUE / Re-IQA / MetaIQA / UNIQUE 품질 평가