과학 질문으로 평가하기
사람을 위한 학교 시험에서 작성된 자연스러운 과학 질문을 모았다. 질문 집합과 관련 텍스트 말뭉치 및 기준 모델을 함께 구성해 질의응답 연구를 지원했다.
쉬운 집합과 도전 집합
자료는 Easy와 Challenge 집합으로 나뉜다. Challenge에는 검색 기반 알고리즘과 단어 동시 출현 알고리즘이 모두 틀린 질문만 포함했다.
지식 검색의 한계
과학에 관한 많은 문장을 제공하더라도 질문에 필요한 지식을 찾아 적용하는 과정은 남는다. 단어가 함께 등장한다는 이유로 답을 고르는 방식의 한계를 평가 구성에 반영했다.
다른 과제에서의 전이
초기 연구는 SQuAD와 SNLI에서 쓰인 신경망을 포함해 여러 기준 모델을 도전 집합에서 평가했다. 당시 결과는 다른 언어 이해 과제에서의 강점이 과학 질문의 추론으로 곧바로 이어지지 않음을 보여 주었다.
관련 문서
OpenBookQA / QASC / SQuAD / SNLI / 질의응답 / 추론