분해가 맞아도 생기는 실수
언어 모델이 문제를 단계로 올바르게 나누어도 각 단계의 계산이나 논리에서 실수할 수 있다. PAL은 문제 이해와 실행의 역할을 분리해 이 차이를 다루려는 접근이다.
프로그램으로 쓰는 중간 단계
자연어 문제를 읽고 중간 추론을 프로그램으로 생성한다. 모델이 모든 계산 결과를 텍스트로 직접 예측하는 대신 실행 가능한 표현을 만드는 데 집중한다.
해결을 맡는 인터프리터
생성된 단계의 계산은 Python 인터프리터 같은 실행 환경으로 넘긴다. 언어 모델과 기호적 실행을 결합해 문제의 구조를 표현하는 능력과 정확한 계산을 연결한다.
여러 추론 과제의 평가
초기 연구는 BIG-Bench Hard 등을 포함한 열세 가지 수학·기호·알고리즘 추론 과제에서 평가했다. GSM8K에서도 예시를 제공하는 조건의 코드 생성과 실행을 비교했다.
관련 문서
Program of Thoughts / 사고 사슬 프롬프팅 / Toolformer / GSM8K / BIG-bench / 언어 모델