개념의 난도와 풀이의 난도
문제에 쓰인 개념이 단순해도 여러 단계가 연결되면 오류가 생길 수 있다. GSM8K는 언어적으로 다양한 수학 문제로 이런 다단계 추론의 실패를 살피도록 구성됐다.
다양한 서술형 표현
같은 계산 능력도 서로 다른 자연어 표현으로 요구될 수 있다. 자료는 언어적 다양성을 갖춘 문제를 통해 모델이 질문을 읽고 계산 과정을 연결하는 능력을 평가한다.
후보 풀이의 검증
관련 연구는 모델이 만든 완성된 풀이의 정확성을 판단하는 검증기를 학습했다. 시험에서는 여러 후보 풀이를 생성한 뒤 검증기가 가장 높게 평가한 것을 선택한다.
생성과 선택의 결합
초기 실험은 풀이를 생성하는 것에 검증과 선택을 더했을 때 성능이 좋아짐을 보였다. 자료가 늘어나는 조건에서도 단순 미세 조정 기준과 검증 방식의 효과를 비교했다.
관련 문서
MATH 수학 평가 / DROP 독해 평가 / MMLU / 언어 모델 / 추론 / 자연어 처리