오해를 유도하는 질문
일부 사람이 잘못된 믿음이나 오해 때문에 거짓으로 답할 수 있는 질문을 구성했다. 모델이 사람의 텍스트를 모방하며 익힌 잘못된 답을 그대로 생성하는지 검사한다.
여러 범주의 사실성
초기 자료는 건강과 법, 금융, 정치 등을 포함하는 38개 범주로 구성됐다. 특정한 문장을 외웠는지보다 질문에 대해 오해를 재현하지 않는 답을 만드는지를 평가한다.
크기만으로 풀리지 않는 문제
초기 실험에서는 큰 모델이 대체로 더 사실에 맞지 않는 답을 내는 경향이 관찰됐다. 연구는 잘못된 답도 학습 분포에서 익힐 수 있다는 관점으로 이 결과를 설명했다.
학습 목표에 대한 제안
연구는 모델 규모만 늘리는 방식보다 웹 텍스트의 모방과 다른 목표를 사용하는 미세 조정의 가능성을 제안했다. 이는 초기 실험에서 도출한 연구 방향이며 어떤 모델의 모든 답이 사실임을 인증하는 시험은 아니다.