책을 펼쳐도 남는 추론
주제에 관한 이해를 평가하는 오픈북 시험을 본떠 만들었다. 참고할 과학 사실을 제공하지만 그 사실을 새로운 상황과 연결하는 이해까지 대신해 주지는 않는다.
기본 사실과 일반 지식
자료의 과학 사실은 초등 수준의 내용이다. 질문에 답하려면 이 사실과 다른 곳에서 얻은 폭넓은 일반 지식을 결합해야 한다.
자기 완결적인 지문을 넘어
필요한 정보가 문서나 지식베이스 안에 모두 들어 있는 설정과 구별된다. 표현을 이해하는 언어 능력뿐 아니라 주제 지식이 상식과 어떻게 연결되는지도 살핀다.
추가 사실을 찾는 문제
소개 연구는 검색의 병목을 줄인 실험에서 제공된 과학 사실과 추가 사실의 가치를 확인했다. 필요한 지식을 검색하고 여러 근거를 결합하는 과정이 함께 중요한 평가다.
관련 문서
ARC 과학 추론 평가 / QASC / HotpotQA / 질의응답 / 추론 / 자연어 처리