풀이 자료를 만드는 문제
단계별 풀이가 성능에 도움이 되더라도 많은 풀이 자료를 직접 만드는 데는 부담이 있다. STaR는 적은 예제에서 시작해 더 많은 풀이를 모델로 생성하는 방식을 제안했다.
정답에 도달한 풀이 선별
몇 개의 풀이 예를 프롬프트에 넣어 여러 질문의 설명과 답을 생성한다. 틀린 답이 나온 경우에는 올바른 답을 함께 제공하고 그에 맞는 풀이를 다시 생성하도록 한다.
스스로 만든 자료로 재학습
최종적으로 정답에 도달한 풀이를 모아 모델을 미세 조정하고 과정을 반복한다. 추론을 생성하는 단계와 생성 결과를 학습 자료로 사용하는 단계가 연결된다.
직접 답 예측과의 비교
소개 연구는 마지막 답만 예측하도록 미세 조정한 모델과 여러 자료에서 비교했다. 모델 자체가 만든 풀이를 활용하는 학습의 효과를 살피는 접근으로 제시됐다.
관련 문서
자기 일관성 디코딩 / 수학 추론의 과정 감독 / GSM8K / CommonsenseQA / 미세 조정 / 언어 모델