정보 요구가 있는 대화
세 개의 Stack Exchange 사이트를 바탕으로 크라우드소싱과 사람의 시스템 역할 수행 방식으로 대화를 수집했다. 분명한 정보 요구를 중심에 두고 여러 분야의 자연스러운 질문 흐름을 마련했다.
단편 사실을 넘어
한 번의 짧은 사실 확인만이 아니라 서로 이어지는 정보 탐색 대화를 다룬다. 이전 질문과 답변이 다음 질문의 문맥이 되므로 개별 질문을 독립적으로 처리하는 설정과 차이가 있다.
문서 검색을 포함한 조건
더 현실적인 평가에서는 답이 들어 있는 문서를 미리 고정하지 않는다. 여러 FAQ 문서 중 적절한 자료를 찾고 그 안에서 응답해야 하므로 검색과 대화 독해를 함께 평가한다.
다른 분야로의 전이
초기 실험은 위키백과 질의응답에서 전이 학습하고 한 FAQ 분야로 미세 조정한 뒤 다른 분야를 다루는 가능성을 살폈다. 대상 분야 학습 자료가 없는 조건에서도 결과를 보고했으며 사람 성능과의 차이는 남아 있었다.