각각 알아도 합치지 못하는 답
소개 연구는 하위 문제를 모두 맞히고도 전체 문제의 답을 만들지 못하는 비율을 조합성 격차로 정의했다. 사실을 기억하는 능력과 여러 사실을 결합하는 능력을 구분하려는 측정이다.
후속 질문을 명시하기
Self-Ask는 원래 질문의 답을 내기 전에 필요한 후속 질문을 명시적으로 묻고 답한다. 답에 필요한 사실을 단계별 질문으로 드러내 조합 추론을 유도한다.
검색과의 연결
구조화된 후속 질문에는 검색 엔진을 연결해 답할 수 있다. 필요한 사실을 모델 내부에서 떠올리는 것과 외부 검색에서 얻는 것을 같은 질문 분해 틀에 결합한다.
규모와 조합 능력의 차이
초기 GPT-3 계열 실험은 크기가 커져도 단일 단계 질의응답의 향상이 다중 단계보다 빨라 격차가 줄지 않는 결과를 보였다. 연구는 명시적인 추론 유도로 이 차이를 좁히는 방법을 평가했다.
관련 문서
HotpotQA / QASC / Decomposed Prompting / 사고 사슬 프롬프팅 / DPR / 언어 모델