코드 모델에서 수학 모델로
Code Llama의 사전 학습을 수학 자료에서 계속 수행해 Llemma를 만들었다. 코드 생성 모델의 표현을 수학적 내용과 문제 해결로 확장하는 접근이다.
서로 다른 수학 자료
Proof-Pile-2는 과학 논문과 수학이 포함된 웹 자료, 수학 코드를 섞었다. 수학을 설명하는 텍스트와 계산을 표현하는 코드를 함께 학습 자료로 사용했다.
문제 해결과 도구 사용
소개 연구는 MATH 벤치마크에서 모델을 평가했다. 별도의 추가 미세 조정 없이 도구 사용과 형식 정리 증명을 수행할 수 있는지도 함께 살폈다.
공개 연구 자원
연구는 두 크기의 모델과 학습 자료 및 실험을 재현할 코드를 공개했다. 모델뿐 아니라 수학 특화 학습의 자료와 실험 과정을 함께 연구할 기반을 제시했다.
관련 문서
Code Llama / MATH 수학 평가 / DeepSeekMath / Lean 증명 도구 / ProofNet / 언어 모델