후보 집합을 생성하기
언어 모델에서 서로 다른 응답을 계속 표본 추출해 집합에 넣는다. 충분한 후보를 모았다고 판단하는 중단 규칙을 보정해 필요한 응답 집합의 구성을 제어한다.
낮은 품질의 후보 제거
표본 가운데 부적절한 내용이 있을 수 있으므로 거절 규칙도 함께 보정한다. 가능한 답을 많이 모으는 것과 작은 유용한 집합을 만드는 것 사이의 균형을 다룬다.
보장의 대상과 조건
보장은 정해진 수용 기준을 충족하는 답이 집합에 적어도 하나 있을 확률에 관한 것이다. 보정과 시험 입력이 같은 고정 분포에서 독립적으로 나온다는 가정이 있어 분포가 바뀌는 대화에 그대로 적용되지는 않는다.
개별 내용의 평가
논문은 후보 집합 안의 구나 문장 같은 구성 요소 중 독립적으로 올바른 부분을 찾는 방법도 제시했다. 집합에 적절한 답이 있다는 보장과 모든 후보의 모든 문장이 맞다는 주장은 구분된다.
관련 문서
언어 모델의 언어화된 확신 / 언어 모델의 자기 지식 예측 / SelfCheckGPT / FActScore / 언어 모델 / TruthfulQA