이어지는 검색 질문
정보 탐색 대화는 평균 아홉 개에서 열 개의 질문으로 구성된다. 최초 질문뿐 아니라 앞선 문맥에 기대는 후속 질문을 이해하고 관련 문단을 찾아야 한다.
검색 집합과 주제
문단은 TREC CAR와 MS MARCO 자료에서 마련했다. 대화는 학습용 30개와 시험용 50개이며, 관련성 판단은 학습 주제 30개와 시험 주제 20개에 제공됐다.
다양한 검색 접근
참여 시스템은 전통적인 검색과 순위 학습 및 신경망과 지식 활용 방법을 사용했다. BERT 기반 재순위화가 널리 쓰였고 문서 확장과 대화 질의 확장 및 질문 재작성도 활용됐다.
재작성의 효과
보고서는 사람이 문맥을 해소해 다시 쓴 질문과 자동 시스템 사이의 차이를 분석했다. 수동 재작성 조건의 상대적인 개선은 질문 이해가 대화형 검색에서 중요한 병목임을 보여 주는 결과였다.