예시보다 어려운 문제
프롬프트에 나온 예시를 잘 따라도 더 어려운 문제에서는 성능이 떨어질 수 있다. 관련 연구는 이런 쉬운 문제에서 어려운 문제로의 일반화 문제를 다뤘다.
하위 문제의 순차 해결
먼저 복잡한 질문을 더 간단한 하위 문제의 연속으로 나눈다. 각 하위 문제를 풀 때 이미 해결한 문제의 답이 다음 판단에 도움이 되도록 한다.
분해와 풀이의 역할
긴 추론을 한 번에 만들어 내기보다 풀어야 할 요소와 순서를 먼저 드러낸다. 중간 답을 누적해 더 어려운 요구에 도달하려는 구조다.
기호와 수학 과제의 평가
초기 연구는 기호 조작과 조합적 일반화, 수학 추론을 평가했다. SCAN에서는 길이 분할을 포함해 프롬프트의 예시보다 복잡한 문제를 푸는 조건을 살폈다.
관련 문서
Decomposed Prompting / 사고 사슬 프롬프팅 / PAL 프로그램 보조 추론 / GSM8K / 언어 모델 / 추론