예시 없이 추론 요청하기
일반적인 사고 사슬 방식은 단계별 풀이 예를 보여 준다. 제로샷 접근은 이런 예시 없이 단계적으로 생각하도록 요청하는 문구를 더해 추론을 유도했다.
공통 프롬프트의 사용
초기 연구는 서로 다른 추론 과제에 같은 하나의 프롬프트 틀을 적용했다. 특정한 과제의 예시를 세심하게 만드는 것과 별개로 일반적인 지시가 가진 효과를 살핀다.
다양한 추론 과제
산술 문제와 기호 추론, 날짜 이해 및 물체 순서 추적 같은 논리 과제를 평가했다. 한 종류의 수학 문제에만 한정하지 않고 여러 형태의 추론에서 비교했다.
제로샷 능력의 검사
소개 연구는 일반 제로샷 조건보다 좋아지는 결과를 보고했다. 미세 조정 자료나 과제별 예시를 만들기 전에 모델 안의 제로샷 능력을 어떻게 유도하고 평가할지 살펴보자는 방향을 제시했다.
관련 문서
사고 사슬 프롬프팅 / 자기 일관성 디코딩 / GSM8K / ARC 과학 추론 평가 / 언어 모델 / 추론