예시 순서에 따라 달라지는 답
소수 예시 학습에서는 프롬프트의 형식과 예시 선택 및 순서만 바뀌어도 정확도가 크게 변할 수 있다. 연구는 이런 불안정성을 모델이 일부 답을 미리 선호하는 편향과 연결했다.
내용 없는 입력으로 측정하기
실제 문제 내용이 없는 시험 입력을 학습 예시가 포함된 프롬프트와 함께 제시한다. 이때 각 답이 예측되는 정도를 통해 프롬프트가 만든 선호를 추정한다.
예측의 균형 조정
내용 없는 입력의 예측이 답들 사이에서 균등해지도록 보정 매개변수를 맞춘다. 끝부분의 답이나 사전 학습에서 흔한 답을 선호하는 경향을 완화하려는 절차다.
정확도와 변동성
초기 연구는 여러 과제에서 GPT-3와 GPT-2의 평균 정확도와 프롬프트별 분산을 평가했다. 같은 모델에서도 입력 예시 구성에 따라 결과가 달라지는 문제를 줄이는 접근으로 제시됐다.
관련 문서
언어 모델의 자기 지식 예측 / SelfCheckGPT / MMLU / 언어 모델 / 자연어 처리 / TruthfulQA