이어지는 질문의 구성
한 단계의 정보가 다른 단계에 반드시 필요하도록 연결 가능한 질문 쌍을 선택한다. 여러 질문을 단순히 나란히 두는 것과 달리 앞선 답을 알아야 다음 단계를 진행하는 의존성을 구성하려는 방법이다.
아래에서 위로 결합하기
단일 단계 질문에서 출발해 복합 질문을 만드는 상향식 절차를 사용한다. 엄격한 필터와 구성 기제를 더해 생성 과정과 단계 수에 따른 자료의 성질을 조절한다.
응답 가능한 자료와 전체 자료
MuSiQue-Ans는 답할 수 있는 2단계부터 4단계 질문 약 2만 5천 개를 포함한다. 여기에 답할 수 없는 대조 질문을 추가해 더 엄격한 MuSiQue-Full을 마련했다.
지름길의 영향 평가
초기 연구는 한 단계 모델이 관계를 연결하지 않고도 답을 맞히는 현상이 줄었는지 살폈다. 사람과 모델의 차이 및 단일 단계 모델의 성능을 비교해 연결된 추론의 필요성을 분석했다.
관련 문서
2WikiMultiHopQA / HotpotQA / IRCoT / Adaptive-RAG / 검색 증강 생성 / 언어 모델