점수와 설명의 연결
품질 설명은 어떤 성질을 보았는지 나타내고 점수는 이런 근거를 종합한 판단을 표현할 수 있다. Q-SiT는 두 과제를 따로 학습하기보다 하나의 다중 모달 모형에서 함께 배우는 방향이다. 설명과 점수가 서로 일치하는지도 검토해야 한다.
질문 응답 자료로 변환하기
기존 품질 평가 자료를 학습 가능한 질문 응답 자료로 바꾸고 사람의 품질 해석 주석을 함께 사용한다. 숫자만 있는 자료와 설명 자료가 서로 다른 학습 신호를 제공한다. 사람이 평가한 자료가 필요 없다는 방식은 아니다.
과제 균형의 조절
경량 모형에서 적절한 자료 혼합 비율을 찾고 이를 주 모형의 미세 조정에 반영한다. 두 과제의 간섭을 줄이고 지식 전이를 돕기 위한 전략이다. 작은 모형에서 찾은 선택이 모든 큰 모형에 그대로 최적이라고 단정할 수는 없다.
점수 설명 불일치의 독립 예
설명용으로 심한 흐림을 지적하면서 최고 품질 점수를 준다면 두 출력의 관계를 확인해야 한다. 문장이 자세하다는 사실만으로 점수까지 신뢰할 수는 없다. 실제 연구 오류를 인용하지 않은 공동 평가의 검토 예다.
관련 문서
Q-Insight / Q-Align / Q-Instruct / M3-AGIQA / T2IScoreScore / OmniQuality-R