독자의 판단을 기준으로
긴 응답의 문장마다 확신이 다를 수 있다. 연구는 생성문을 읽은 사용자가 보정된 확률 예측을 할 수 있으면 언어적으로 보정됐다고 정의해 사용자 판단의 관점에서 문제를 다뤘다.
확신 표현의 초기 학습
지도 미세 조정으로 확신을 나타내는 긴 응답을 먼저 생성하게 한다. 이후 관련 질문에 사용자가 보정된 답을 하도록 돕는 생성문에 보상을 주는 강화 학습을 적용한다.
정확도와 보정의 비교
Llama 2 7B를 대상으로 자동 평가와 사람 평가를 수행했다. 비슷한 정확도의 사실성 중심 기준 모델과 비교해 확신 표현의 보정이 더 나은지를 따로 분석했다.
다른 분야와 과제로 확장
과학과 생의학 질문으로 분야가 바뀌는 조건과 학습에서 제외한 인물 소개 생성 과제에서도 평가했다. 결과는 사용자가 생성문을 바탕으로 내리는 확률 판단을 학습 목표로 삼는 접근의 가능성을 보여 줬다.
관련 문서
CalibratedMath / 언어 모델의 언어화된 확신 / 언어 모델의 자기 지식 예측 / FActScore / 컨포멀 언어 모델링 / 언어 모델