위키득계정 ↗
기술

ShARC

ShARC기술
연구 공개
2018년
발표 학회
EMNLP 2018
최종 자료 규모
32,436개 과제 사례
규칙 발췌문
948개
ShARC는 자연어로 작성된 규칙을 읽고 사용자의 상황에 적용하는 대화형 기계 독해 데이터셋이다. 정보가 부족할 때 바로 답하지 않고 필요한 확인 질문을 하는 능력도 평가한다.

답을 찾기보다 도출하기

본문에 정답 문장이 그대로 있는 독해와 달리 규칙은 답을 만들어 내는 절차를 담을 수 있다. 시스템은 규칙의 조건을 해석하고 사용자의 상황과 연결해야 한다.

부족한 정보의 확인

최초 질문만으로 모든 조건이 드러나지 않을 수 있다. 필요한 정보가 빠졌다면 추가 질문을 만들고, 이전 대화나 주어진 상황에서 이미 확인된 내용을 중복해서 묻지 않는 것이 중요하다.

판단과 질문의 생성

매 단계에서 긍정과 부정 및 규칙과 무관함을 판단하거나 추가 확인이 필요하다고 결정한다. 후속 질문이 필요한 경우에는 실제 질문 문장도 생성해야 한다.

상황과 배경지식

실제 규칙과 사람이 만든 질문 및 상황을 결합해 자료를 구성했다. 초기 연구는 규칙 기반 방식과 기계 학습 방식을 비교했고, 특히 배경지식이 필요한 상황 해석에서 개선 여지가 컸다고 분석했다.

관련 문서

doc2dial / DoQA / MultiWOZ / QASPER / 자연어 처리 / 언어 모델