위키득계정 ↗
기술

Natural Questions

Natural Questions기술
발표
2019년
질문 기반
익명화하고 집계한 실제 검색 질의
초기 학습 예제
307,373개
답 구분
긴 답과 짧은 답 또는 없음
Natural Questions는 실제 검색 질문을 이용해 질의응답 시스템을 학습하고 평가하는 자료다. 관련 페이지에서 긴 답과 짧은 답을 표시하며, 페이지에 답이 없을 때의 처리도 포함한다.

실제 질문의 활용

질문은 Google 검색에 입력된 실제 질의를 익명화하고 집계한 자료에서 얻었다. 정해진 지문을 보고 새로 질문을 만드는 작업과 구별되는 출발점이다.

페이지 안에서 답 찾기

작업자는 질문과 상위 검색 결과 다섯 개 안의 위키백과 페이지를 함께 보았다. 페이지에서 답을 담은 긴 구간과 짧은 답을 표시하거나 답이 없다고 표시했다.

주석과 평가 집합

초기 공개 구성은 한 번 주석을 붙인 학습 자료와 다섯 번씩 주석을 붙인 개발 및 시험 자료를 포함했다. 별도의 다중 주석 분석으로 같은 작업에 대한 사람 사이의 차이도 조사했다.

긴 답과 짧은 답

긴 답은 보통 문단처럼 필요한 정보를 담는 범위이며 짧은 답은 하나 이상의 개체가 될 수 있다. 답의 범위와 존재 여부를 함께 다루므로 하나의 문장 생성 점수만으로 평가를 설명하기 어렵다.

관련 문서

SQuAD / DPR / RocketQA / BERT / 질의응답 / 자연어 처리