품질과 보조 지식
장면의 종류와 왜곡의 특성은 품질을 판단하는 단서가 될 수 있다. LIQE는 세 작업을 함께 학습하는 일반적인 체계를 제안한다. 원본 참조가 없다는 것과 품질 학습 신호 자체가 없다는 것은 다르다.
텍스트로 조합 표현
여러 작업의 후보 레이블 조합을 텍스트 템플릿으로 설명한다. 시각 및 텍스트 임베딩의 코사인 유사도로 결합 분포를 구하고 각 작업의 예측을 유도한다. 작업 간 매개변수 공유와 손실 가중을 자동으로 결정하는 방향을 택한다.
결합과 주변의 예
설명용 결합 확률에서 품질 좋음이 장면 A와 함께 0.3, 장면 B와 함께 0.2라면 두 장면만 있는 경우 품질 좋음의 주변 확률은 0.5다. 조합별 정보에서 작업별 예측을 얻는 예이며 실제 모델의 레이블 수나 점수식 전체는 아니다.
자료 간 비교
여러 품질 자료의 주석을 정렬하고 보조 작업이 평가를 돕는지 검증한다. 학습 자료와 다른 장면이나 새로운 왜곡에서는 별도 확인이 필요하다. 높은 품질 예측을 내용의 사실 정확도로 해석하지 않고 전처리 및 모델 조건을 맞춰 지표를 비교한다.