맞춤 채점 기준
모든 응답을 하나의 고정된 기준으로만 평가할 필요는 없다. Prometheus는 사용자가 제공한 세부 채점표를 기준으로 긴 텍스트의 품질을 평가하도록 구성됐다.
Feedback Collection
초기 학습 자료는 세부 채점표 약 천 개와 지시 2만 개 및 응답과 언어 피드백 10만 건으로 구성됐다. 이 자료의 응답과 피드백은 GPT-4로 생성했다.
참조 자료의 조건
논문이 비교한 평가 능력은 참조 답변과 점수 기준 같은 적절한 자료가 제공되는 조건과 연결된다. 모델의 크기만으로 어떤 기준의 평가도 자동으로 정확해진다는 의미는 아니다.
평가와 선호의 비교
연구는 맞춤 채점표를 이용한 사람 평가와의 상관을 분석했다. 사람의 선호 벤치마크에서도 비교해 평가 모델을 보상 신호로 활용할 가능성을 살폈다.