실제 이용자의 선택
Pick-a-Pic은 이용자가 텍스트로 이미지를 생성하고 선호 결과를 지정하는 웹 앱에서 수집한 공개 자료다. 생성 요청과 실제 선택을 함께 담는다. PickScore는 이 자료를 이용해 사람의 선호를 예측하는 점수 함수를 학습한다.
CLIP 기반 점수
이미지와 언어를 함께 다루는 CLIP에 기반해 선호 예측을 수행한다. 일반적인 이미지 문장 관련성과 사람의 생성 결과 선호는 같은 목표가 아니다. 선호 자료로 학습하는 단계가 이 차이를 다루는 데 중요하다.
결과 순위와 모형 평가
여러 생성 결과를 순위로 골라 기존 생성 모형을 활용하는 방법과 생성 모형 자체를 평가하는 활용을 다룬다. 한 요청에서 결과를 고르는 문제와 여러 요청에 걸쳐 모형을 평가하는 문제는 표본과 집계 조건이 다르다.
점수의 범위를 해석하기
설명용으로 같은 요청의 후보 A와 B가 3과 5를 받았다면 점수 방향이 같다는 조건에서 상대 순위를 읽을 수 있다. 다른 점수 모형의 5와 절대값을 맞대어 비교할 근거는 없다. 실제 출력 범위나 사람 선호 비율을 나타내지 않는 점수 해석의 예다.
관련 문서
ImageReward / MPS 이미지 선호 / Q-Align / NIMA / CLIP-IQA / DreamSim