다음 상황을 이해하기
사건 설명을 읽고 가장 그럴듯한 후속 내용을 선택한다. 자연스러운 문장을 만드는 능력과 사건이 어떻게 이어지는지 이해하는 능력이 같은지 살펴보는 과제다.
적대적 필터링
여러 판별기를 이용해 기계가 만든 오답 후보를 반복적으로 선별했다. 쉽게 걸러지는 오답 대신 모델이 혼동하는 후보를 남기는 자료 수집 방식이다.
길이와 복잡성의 조절
생성된 텍스트가 사람에게는 엉뚱하지만 모델에는 그럴듯하게 보이는 조건을 찾기 위해 예제의 길이와 복잡성을 높였다. 단순한 문법 오류만으로 답을 고르기 어렵게 하려는 구성이다.
모델과 함께 바뀌는 평가
소개 연구는 모델의 발전에 맞추어 평가도 적대적으로 발전시키는 방향을 제안했다. 이전 자료에서 높은 성능을 내는 것만으로 충분히 드러나지 않는 상식 추론의 약점을 찾으려는 접근이다.
관련 문서
CommonsenseQA / SocialIQA / PIQA / BERT / 추론 / 자연어 처리