답을 낸 뒤 평가하기
모델이 먼저 답을 생성한 다음 그 답이 맞을 확률을 예측하게 한다. 연구는 이를 P(True)로 다루고 다양한 과제에서 성능과 확률 보정 및 모델 규모의 관계를 살폈다.
여러 표본을 참고하기
특정 답의 타당성을 판단하기 전에 모델이 만든 여러 표본을 고려하도록 하면 자기 평가가 개선됐다. 단일 생성의 확신과 여러 후보를 본 뒤의 판단을 구분하는 설정이다.
답 없이 지식 보유 예측
P(IK)는 특정 답을 먼저 제시하지 않은 상태에서 질문의 답을 알고 있을 가능성을 예측한다. 연구는 이를 학습시키고 관련 자료나 수학 문제의 힌트가 주어질 때의 변화를 분석했다.
새 과제의 보정 한계
일부 과제 간 일반화는 관찰됐지만 새로운 과제에서는 P(IK)의 보정이 어려웠다. 이런 확률 예측은 실험 조건에 따른 행동이며 모델에 사람과 같은 자각이 있다는 증거로 해석할 수는 없다.
관련 문서
SelfCheckGPT / FActScore / TruthfulQA / 언어 모델 / MMLU / 검색 증강 생성