넓은 과제 범위
언어학과 수학, 상식 추론, 생물학과 물리학, 사회적 편향, 소프트웨어 개발 등 여러 분야를 포함한다. 당시 모델이 쉽게 해결하지 못한다고 여겨지는 과제에 초점을 맞췄다.
규모에 따른 비교
소개 연구는 여러 계열의 언어 모델을 수백만에서 수천억 매개변수 범위에서 비교했다. 사람 평가자도 전체 과제를 수행해 모델 결과를 해석할 기준을 제공했다.
서로 다른 성능 변화
연구는 규모가 커지며 성능과 보정이 좋아지는 경향을 보였다. 다만 지식이나 기억이 중요한 과제의 점진적 개선과 여러 단계 또는 민감한 지표가 관련된 급격한 변화는 구분해 분석했다.
과제별 해석의 필요성
평균 성능이 높아지는 양상만으로 모든 능력을 설명할 수는 없다. 과제의 구성과 지표, 맥락에 따른 차이를 함께 살피며 언어 모델의 한계와 변화를 평가하는 자료다.
관련 문서
GLUE / MTEB / HellaSwag / CommonsenseQA / 언어 모델 / 추론