표면 품질과 의미 오류
생성 이미지에는 잡음이나 흐림 외에도 장면 내용의 일관성이 어긋나는 오류가 있을 수 있다. 자연 이미지에 맞춘 품질 특징만으로는 세밀한 의미를 충분히 포착하기 어려울 수 있다. MA-AGIQA는 의미 정보의 보완을 다룬다.
프롬프트를 통한 의미 벡터
설계한 텍스트 프롬프트로 다중 모달 모형이 의미 정보를 파악하고 벡터를 추출하도록 한다. 이는 생성할 이미지를 요청하는 프롬프트와 역할이 다를 수 있다. 평가를 위한 정보 추출과 생성 지시를 구분해야 한다.
전문가 혼합으로 통합하기
전문가 혼합 구조가 의미 정보와 기존 신경망에서 추출한 품질 특징을 동적으로 결합한다. 다양한 단서를 함께 사용하는 방향이지만 각 평가기가 같은 오류를 놓칠 가능성도 고려해야 한다. 결합 점수가 모든 의미와 시각 오류를 완전히 대표한다고 볼 수는 없다.
서로 다른 결함의 독립 예
설명용으로 자전거의 윤곽은 선명한데 바퀴와 프레임의 연결이 어색할 수 있다. 선명도만으로 이 문제를 충분히 설명하기 어렵다. 실제 연구 이미지를 재현하지 않은 표면 품질과 구조적 의미의 차이에 대한 예다.
관련 문서
CLIP-AGIQA / IP-IQA / AGIQA-3K / Q-Align / T2IScoreScore / AIGCIQA2023