독해와 답 구간
초기 SQuAD는 질문과 지문을 함께 제공하고 지문 안에서 답에 해당하는 부분을 찾도록 한다. 질문과 관련된 글을 찾는 검색 문제와는 평가의 출발점이 다르다.
사람이 만든 질문
작업자들이 정해진 글을 읽고 질문을 만들었다. 질문마다 읽기 지문의 한 구간이 답이 되도록 구성해 모델의 독해를 평가했다.
질문에 필요한 추론
소개 연구는 질문에 답하기 위해 필요한 추론의 종류를 분석했다. 의존 구문과 구성 구문 구조를 활용해 단순한 단어 대응을 넘어서는 문제의 특성을 살폈다.
초기 기준 모델
처음 제시된 로지스틱 회귀 모델은 단순 기준 모델보다 좋은 F1을 보였지만 사람과는 차이가 컸다. 이 비교는 2016년 초기 자료와 실험의 결과이며 이후 모델의 성능을 뜻하지 않는다.
관련 문서
Natural Questions / DPR / BERT / 자연어 처리 / 질의응답 / 기계 독해