확신과 실제 정답률
잘 보정된 확신 점수는 답이 맞을 가능성을 반영해야 한다. 모델이 높은 확신을 보인 사례들이 실제로도 높은 비율로 맞는지 살피는 것이 보정 평가의 핵심이다.
출력 확률과 직접 물은 확신
답 토큰의 조건부 확률을 쓰는 방법과 모델에게 확신을 표현하도록 요구하는 방법은 서로 다르다. 연구는 사람 피드백 학습 모델에서 여러 확신 추출 방법을 폭넓게 비교했다.
세 질의응답 자료
TriviaQA와 SciQ 및 TruthfulQA에서 평가했으며 당시 ChatGPT와 GPT-4 및 Claude 등을 다뤘다. 실험에서는 출력 토큰으로 표현한 확신이 조건부 확률보다 대체로 더 잘 보정돼 있었다.
평가 결과의 의미
논문은 기대 보정 오차가 상대적으로 약 절반 줄어드는 경우를 보고했다. 이는 확신 점수와 정답률의 관계에 관한 결과이며 답 자체의 정확도가 같은 비율로 높아졌다는 의미와는 다르다.
관련 문서
문맥 보정 프롬프팅 / 언어 모델의 자기 지식 예측 / SelfCheckGPT / TruthfulQA / TriviaQA / 언어 모델