위키득계정 ↗
기술

PIQA

PIQA기술
최초 공개
2019년
학회 발표
AAAI 2020
전체 이름
Physical Interaction: Question Answering
평가 대상
물리적 상식 추론
PIQA는 물리적 세계의 일상 상식을 자연어로 묻는 평가 자료다. 글에 자주 기록되지 않는 물건의 성질과 사용에 관한 지식을 언어 모델이 얼마나 이해하는지 살핀다.

물리적 세계를 묻는 질문

사물과 물리적 상호작용을 이해해야 답할 수 있는 질문을 다룬다. 뉴스나 백과사전처럼 텍스트가 풍부한 영역의 질의응답과 다른 종류의 지식을 요구한다.

기록되지 않는 일상 지식

일상에서 당연하게 여기는 물리적 지식은 글로 자세히 설명되지 않는 경우가 많다. 소개 연구는 이런 보고 편향 때문에 물리 영역의 텍스트 자료가 본질적으로 제한될 수 있다고 보았다.

언어 학습과 경험의 차이

물리적 세계를 직접 경험하지 않는 시스템이 이러한 질문에 신뢰성 있게 답할 수 있는지 탐구한다. 텍스트 사전 학습으로 얻는 지식과 실제 상호작용에 필요한 지식의 관계를 살피는 평가다.

부족한 지식의 분석

초기 연구는 큰 사전 학습 모델과 사람을 비교하고 모델에 부족한 지식의 차원을 분석했다. 이를 통해 물리적 상식 추론에서 더 연구할 영역을 제시했다.

관련 문서

HellaSwag / CommonsenseQA / OpenBookQA / BERT / 추론 / 자연어 처리