다양한 분야의 이해
초등 수학과 미국사, 컴퓨터 과학, 법 등 여러 분야를 포함한다. 높은 정확도를 얻으려면 폭넓은 지식과 문제 해결 능력이 함께 필요하도록 평가 범위를 넓혔다.
평균과 분야별 결과
전체 평균이 같아도 분야별 성능 분포는 다를 수 있다. 소개 연구는 모델의 학문적·전문적 이해가 얼마나 넓고 깊은지 여러 과제로 살피고 중요한 부족함을 찾으려 했다.
틀렸다는 사실의 인식
초기 연구는 모델의 불균형한 성능과 함께 잘못 답할 때 이를 알아차리지 못하는 문제를 지적했다. 정답률과 자기 판단의 신뢰성은 함께 검토할 대상이다.
초기 규모 비교
발표 당시 연구에서는 큰 GPT-3가 무작위 기준보다 높은 평균 정확도를 보였지만 전문가 수준과는 차이가 있었다. 이 비교는 평가가 제안된 시기의 모델과 조건에 관한 결과다.
관련 문서
BIG-bench / GLUE / CommonsenseQA / TruthfulQA / 언어 모델 / 추론