위키득계정 ↗
기술

AmbigQA

AmbigQA기술
연구 공개
2020년
발표 학회
EMNLP 2020
평가 자료
AmbigNQ
질문 수
14,042개
AmbigQA는 여러 해석이 가능한 개방형 질문에서 가능한 답을 찾고 각 답에 맞게 질문을 명확히 다시 쓰는 과제다. 질문의 모호함을 하나의 답으로 덮지 않고 해석별로 구분해 평가한다.

질문이 가리키는 대상

새로운 주제를 탐색하는 사람은 사건이나 개체를 명확하게 특정하지 못할 수 있다. 이 경우 같은 질문에도 어떤 대상을 가리키는지에 따라 서로 다른 정답이 나올 수 있다.

가능한 답과 재작성

과제는 그럴듯한 답 하나를 고르는 데서 끝나지 않는다. 가능한 답들을 찾은 뒤 각각의 답에 대응하도록 질문을 다시 써 모호함을 해소한다.

AmbigNQ의 구성

기존 NQ-open의 질문 14,042개에 걸친 자료를 구성했다. 연구는 해당 질문의 절반 이상에 모호함이 있다고 분석했으며 사건과 개체 지시 등 다양한 원인을 확인했다.

학습과 평가의 역할

논문은 기준 모델을 제시하고 NQ-open을 활용한 약한 지도 학습의 효과를 살폈다. 하나의 정답만 예측하는 방식과 달리 답의 범위와 해석별 질문을 함께 다루는 연구 과제다.

관련 문서

ASQA / Natural Questions / QReCC / ShARC / IIRC / 언어 모델