한 경로 대신 여러 경로
사고 사슬 프롬프트로 풀이를 만들 때 매 순간 가장 가능성 높은 선택만 이어 가면 한 경로에 머문다. 자기 일관성은 다양한 추론 경로를 샘플링하는 방식을 제안했다.
풀이보다 답을 종합하기
서로 다른 풀이 과정이 같은 답에 도달할 수 있다는 직관을 이용한다. 샘플링한 경로를 주변화해 가장 일관된 답을 고르므로 한 문장이나 한 경로의 확률만 비교하는 것과 다르다.
수학과 상식 추론의 평가
소개 연구는 GSM8K 같은 산술 문제와 상식 추론 평가에서 사고 사슬 방식의 개선을 보고했다. 어떤 모델과 자료 및 샘플링 조건에서 평가했는지 함께 살펴야 한다.
후보 수와 결과의 조건
여러 경로를 생성하는 과정이 포함되므로 결과는 단일 생성과 다른 계산 조건에서 얻어진다. 같은 답이 많이 나온다는 기준과 그 답의 사실적 정확성도 서로 같은 개념은 아니다.
관련 문서
GSM8K / DeepSeekMath / CommonsenseQA / ARC 과학 추론 평가 / 언어 모델 / 추론