새로운 분야의 과신
학습한 분야를 벗어난 질문에서는 오류가 늘어날 수 있다. 연구는 모델의 소프트맥스 확률만으로 답변 보류를 정하면 새로운 분야의 입력에 과신해 성능이 좋지 않다고 분석했다.
오류를 예측하는 보정기
질의응답 모델이 틀릴 입력을 알아내도록 별도 보정기를 학습한다. 오류 가능성이 높다고 예측하면 응답을 보류해 답한 사례의 정확도를 관리한다.
다른 분야 자료의 역할
보정기는 시험 분야와 같지 않은 외부 분야라도 모델의 행동을 관찰하면 도움이 됐다. 익숙한 자료와 여러 다른 질의응답 자료를 섞어 분야 변화 조건을 평가했다.
같은 정확도에서의 범위
초기 실험에서 보정기는 정확도 80퍼센트를 유지하며 질문의 56퍼센트에 답했다. 모델 확률을 직접 사용한 방식의 48퍼센트와 비교해 같은 정확도에서 응답 범위가 넓어졌다.
관련 문서
컨포멀 언어 모델링 / 언어 모델의 언어화된 확신 / 언어 모델의 자기 지식 예측 / ShARC / TruthfulQA / 언어 모델