한 번에 풀기 어려운 질문
여러 판단이 필요한 질문은 중간의 결정이 다음 단계에 영향을 준다. 이 방법은 전체 설명을 한 번에 출력하는 대신 현재 해결할 작은 문제를 정하고 처리한다.
분해와 답변의 분리
복잡한 질문을 어떻게 나눌지 배우는 과정과 단순 질문에 어떻게 답할지 배우는 과정을 구분한다. 각 단계에서 문맥 속 예시를 참고할 기회도 생긴다.
단계별 구성 요소
큰 언어 모델이 특정 단계를 잘 처리하지 못하면 그 단계에 맞게 미세 조정한 구성 요소를 활용할 수 있다. 전체 과정을 반드시 같은 방식으로 처리하도록 묶지 않는 설계다.
합성 데이터와 평가
연구는 중간 질문의 분해와 답변 능력을 학습시키기 위한 합성 데이터 생성 방법도 제시했다. 적은 예시의 DROP 실험에서 같은 감독 조건의 비교 모델과 결과를 분석했다.
관련 문서
DROP 독해 평가 / Decomposed Prompting / Least-to-Most 프롬프팅 / Self-Ask / 사고 사슬 프롬프팅 / 언어 모델