어떤 예시를 보여줄까
사고 사슬을 이용할 때는 중간 추론이 포함된 예시를 제시할 수 있다. 이 연구는 예시의 선택 기준으로 추론 단계가 얼마나 많은지를 살폈다.
입력에서 출력으로
복잡도 기준을 입력 예시 선택뿐 아니라 생성된 답을 고르는 과정에도 적용했다. 여러 추론 경로를 생성한 뒤 복잡한 경로에 해당하는 답들의 다수결을 사용한다.
문장의 길이와 추론
핵심은 장황한 문장을 무조건 선호하는 것이 아니라 중간 추론 단계에 따른 선택이다. 더 많은 단계를 썼다는 사실 자체가 개별 답의 정당성을 증명하지는 않는다.
다단계 과제의 비교
초기 연구는 GSM8K 등 수학 과제와 BIG-bench 계열의 일부 추론 과제에서 비교했다. 보고된 개선은 해당 모델과 예시 및 평가 조건에서 해석해야 한다.
관련 문서
사고 사슬 프롬프팅 / 자기 일관성 디코딩 / GSM8K / BIG-bench / Plan-and-Solve 프롬프팅 / 언어 모델