수학 자료의 추가 사전 학습
초기 연구는 Common Crawl에서 얻은 1,200억 수학 관련 토큰과 자연어 및 코드 자료를 사용했다. 기존 코드 모델의 학습을 이어 수학 추론 능력을 높이려는 접근이다.
자료 선택의 중요성
연구는 공개 웹 자료에서 수학에 도움이 되는 내용을 고르는 절차를 중요한 요소로 설명했다. 단순히 자료의 총량만 늘리는 것과 어떤 내용을 고르는지는 구분되는 설계 선택이다.
그룹 상대 정책 최적화
GRPO는 PPO의 변형으로 제안됐다. 수학 추론 능력을 높이는 동시에 PPO의 메모리 사용을 개선하려는 강화 학습 방법으로 소개됐다.
후보 수에 따른 평가
논문은 외부 도구나 투표 없이 얻은 MATH 결과와 64개 샘플의 자기 일관성을 이용한 결과를 따로 보고했다. 여러 후보의 정보를 결합한 결과는 한 번의 풀이 생성과 다른 조건이다.
관련 문서
Llemma / DeepSeek-Coder / MATH 수학 평가 / GSM8K / 강화 학습 / 언어 모델