결과와 과정의 피드백
결과 감독은 마지막 답에 대해 피드백을 준다. 과정 감독은 중간 추론 단계마다 피드백을 제공하므로 완성된 풀이가 틀렸다는 사실보다 세밀한 학습 신호를 얻을 수 있다.
다단계 추론의 논리 오류
큰 언어 모델도 복잡한 풀이에서 논리적 실수를 만들 수 있다. 관련 연구는 사람의 피드백 비용을 고려하면서 어느 감독 방식이 신뢰성을 높이는지 비교했다.
MATH에서의 비교 연구
초기 실험은 MATH 문제를 푸는 모델에서 과정 감독이 결과 감독보다 좋은 성능을 보였다고 보고했다. 대표적인 시험 부분 집합에서의 결과이므로 전체 평가 조건과 구분해 이해해야 한다.
피드백 자료와 능동 학습
연구는 보상 모델 학습에 사용한 80만 개 단계별 사람 피드백 표지를 PRM800K로 공개했다. 어떤 사례의 피드백을 받을지 고르는 능동 학습이 과정 감독의 효율을 높이는지도 살폈다.
관련 문서
MATH 수학 평가 / GSM8K / DeepSeekMath / Minerva 수학 모델 / 언어 모델 / 기계 학습