선호 자료의 구성
생성 이미지의 품질을 평가할 때 통계 지표가 사람의 선택을 충분히 반영하지 못할 수 있다. HPD v2는 여러 출처 이미지의 사람 선호를 수집한 자료다. 텍스트 요청과 이미지를 모을 때 편향을 줄이기 위한 구성을 고려한다.
점수 모형의 학습
HPD v2에서 CLIP을 미세 조정해 HPS v2를 얻는다. 목적은 생성 이미지에 대한 사람 선호를 예측하는 것이다. 이미지 문장 관련성을 학습한 모형을 그대로 쓰는 것과 선호 비교 자료에 맞춰 조정하는 것은 다르다.
평가 요청의 영향
생성 모형을 비교하는 벤치마크와 평가 프롬프트의 설계도 다룬다. 어떤 요청을 많이 포함하느냐에 따라 비교 결과가 달라질 수 있다. 점수 모형뿐 아니라 요청 집합과 생성 설정을 맞춰야 공정한 비교에 가까워진다.
평균의 표본 의존성
설명용 모형 A가 풍경에서 8, 도형에서 4를 받고 B가 각각 6, 7을 받았다고 하자. 풍경만 보면 A가 앞서지만 두 종류를 같은 비중으로 평균 내면 B가 앞선다. 실제 점수나 실험 결과가 아닌 요청 구성의 영향을 보여주는 예다.
관련 문서
PickScore / ImageReward / MPS 이미지 선호 / VisionReward / Q-Align / DOVER