배경 지식이 필요한 질문
사람은 질문의 맥락뿐 아니라 세상에 관한 지식도 사용한다. CommonsenseQA는 관련 지문이 주어지는 독해에서 한 걸음 더 나아가 사전 지식을 이용하는 질의응답을 살핀다.
같은 관계의 여러 개념
하나의 출발 개념에 대해 같은 의미 관계를 갖는 여러 대상 개념을 ConceptNet에서 추출했다. 관련성이 있다는 사실만으로 후보를 구별하기 어렵게 만드는 구성이다.
개념을 구별하는 객관식
작업자는 출발 개념을 언급하며 대상 개념들을 구별할 수 있는 객관식 질문을 만들었다. 개념 사이의 차이를 드러내야 하므로 복합적인 의미와 배경 지식을 요구하는 질문을 유도한다.
초기 모델 비교
소개 연구는 다양한 기준 모델로 난도를 비교했다. 당시 가장 좋은 BERT-large 기준 모델과 사람의 정확도 사이에도 차이가 있어 상식 지식을 활용하는 문제의 어려움을 보여 주었다.
관련 문서
OpenBookQA / QASC / SocialIQA / BERT / 질의응답 / 추론