한 단어로 끝나지 않는 질문
이름이나 날짜 같은 짧은 정답을 찾는 문제와 달리 이유와 과정을 설명하는 응답을 다룬다. 다양한 질문에 여러 문장으로 답해야 하므로 자료 검색과 내용의 종합이 필요하다.
온라인 커뮤니티의 자료
쉽게 풀어 설명하는 Reddit 커뮤니티의 스레드 약 27만 개를 수집했다. 질문과 답변 외에도 응답에 도움을 줄 수 있는 대규모 웹 문서 집합을 제공했다.
생성과 추출의 비교
초기 연구는 다중 과제 목표로 학습한 추상적 생성 모델을 제시했다. 일반적인 시퀀스 변환과 언어 모델 및 강한 추출형 기준 방식과 자동 및 사람 평가로 비교했다.
사람이 선호한 설명
초기 실험의 최선 모델도 사람 응답과는 차이가 컸다. 평가자는 86퍼센트가 넘는 사례에서 원래 답변을 선호했으며, 긴 설명의 품질을 높이는 과제가 남아 있다고 분석했다.
관련 문서
ASQA / ALCE / QASPER / NarrativeQA / 검색 증강 생성 / 언어 모델