추론과 계산을 나누기
일반 사고 사슬에서는 언어 모델이 추론과 계산을 모두 텍스트로 수행한다. PoT는 모델이 풀이 과정을 프로그램으로 표현하도록 해 계산을 별도 구성 요소로 넘긴다.
프로그램 실행으로 답 얻기
외부 컴퓨터가 생성된 프로그램을 실행해 답을 도출한다. 단계별 설명이 자연스러운지만 보는 것과 달리 표현한 연산을 실제로 계산하는 과정이 포함된다.
다양한 수치 자료의 평가
초기 연구는 다섯 수학 서술형 자료와 FinQA 및 ConvFinQA, TATQA의 세 금융 질의응답 자료를 평가했다. 소수 예시를 제공하는 조건과 예시 없는 조건을 모두 살폈다.
여러 풀이의 결합
연구는 자기 일관성 디코딩과 PoT를 함께 사용하는 방식도 비교했다. 프로그램으로 계산하는 방법과 여러 후보의 답을 종합하는 방법은 별개의 선택이므로 결합 조건을 나누어 이해할 수 있다.
관련 문서
PAL 프로그램 보조 추론 / 자기 일관성 디코딩 / 사고 사슬 프롬프팅 / GSM8K / Toolformer / 언어 모델