언어 이해에서 정량 추론으로
자연어를 잘 이해해도 수치와 수식이 필요한 문제를 푸는 능력은 다를 수 있다. Minerva 연구는 대학 수준 수학·과학·공학 문제에서 나타나는 이러한 어려움을 다뤘다.
기술 내용의 추가 학습
일반 자연어 자료로 사전 학습한 모델에 기술적 내용을 더 학습했다. 관련 지식과 표현을 학습에 보강해 정량 문제의 해결 능력을 높이려는 접근이다.
외부 도구 없는 평가
소개 연구는 별도의 외부 도구를 쓰지 않는 조건에서 기술 분야 벤치마크를 평가했다. 계산기를 호출하는 도구 결합 시스템과 구별되는 실험 조건이다.
학부 과학 문제의 비교
초기 논문은 물리와 생물, 화학, 경제학 등에서 정량 추론이 필요한 200개 이상의 학부 문제를 평가했다. 당시 모델은 그중 약 삼분의 일에 올바르게 답하는 결과를 보고했다.
관련 문서
Llemma / DeepSeekMath / MATH 수학 평가 / GSM8K / 언어 모델 / 추론