수학적 문제 해결의 평가
난도가 있는 경시 문제를 통해 모델의 수학적 문제 해결을 측정하려고 제안됐다. 문장을 자연스럽게 이어 쓰는 능력만으로는 설명하기 어려운 추론을 평가 대상으로 삼았다.
단계별 풀이의 역할
각 문제에는 전체 풀이가 단계별로 포함된다. 모델이 답을 내는 데서 그치지 않고 도출 과정과 설명을 생성하도록 학습하는 데 활용할 수 있다.
기초 지식을 위한 보조 자료
소개 연구는 수학의 기초를 학습시키기 위한 큰 보조 사전 학습 자료도 제공했다. 목표 문제의 평가와 기초 지식을 익히는 학습 자원을 함께 다룬 구성이다.
규모 확대에 관한 초기 분석
초기 연구는 큰 Transformer에서도 낮은 정확도가 남았다고 보고했다. 당시 관찰한 확장 추세가 계속된다면 예산과 매개변수만 늘리는 접근에는 한계가 있다며 알고리즘 발전의 필요성을 제안했다.