위키득계정 ↗
기술

SocialIQA

SocialIQA기술
발표
2019년
초기 질문 수
약 3만 8천 개
평가 대상
사회 상황의 상식 추론
답 구성
정답과 오답을 포함한 객관식
SocialIQA는 일상적인 사회 상황에 관한 상식 추론을 평가하는 객관식 자료다. 사람의 감정과 사회적 상호작용을 이해하는 능력을 살피며, 틀린 답의 문체만으로 정답을 고르는 편향을 줄이도록 설계했다.

사회적 상황의 이해

여러 일상 상황을 다루는 질문으로 감정과 사회적 이해를 살핀다. 질문에 나온 단어를 연결하는 것뿐 아니라 상호작용이 의미하는 바를 추론하는 문제다.

오답의 문체 편향

정답과 오답이 서로 다른 방식으로 작성되면 내용보다 문체가 단서가 될 수 있다. SocialIQA는 오답에서 생기는 이런 인공적 단서를 줄이는 수집 틀을 사용했다.

관련 질문의 정답 활용

작업자가 다른 관련 질문의 정답을 제공하도록 요청해 오답을 구성했다. 일부러 틀린 문장을 쓰는 작업에서 나타나는 문체적 특징을 완화하려는 방식이다.

상식 지식의 전이

초기 연구는 이 자료를 다른 상식 추론 과제의 전이 학습에도 활용했다. 사회 상황에 대한 학습이 Winograd Schemas와 COPA 같은 과제에서 어떻게 도움이 되는지 평가했다.

관련 문서

CommonsenseQA / OpenBookQA / 전이 학습 / 질의응답 / 자연어 처리 / 추론