상식 이해와 자료 편향
평가에서 높은 점수를 얻어도 실제 상식보다 자료의 편향을 이용했을 수 있다. WinoGrande는 이전 평가에서의 성능 향상이 견고한 상식 능력을 뜻하는지 살피기 위해 제안됐다.
규모와 난도의 확장
전문가가 만든 작은 규모의 Winograd Schema Challenge에서 영감을 받아 더 큰 자료를 구성했다. 크라우드소싱 절차를 신중히 설계하고 문제의 규모와 난도를 함께 높였다.
AfLite의 역할
AfLite는 사람이 알아차리는 단어 연관뿐 아니라 기계가 감지하는 임베딩 연관도 다루며 편향을 줄인다. 이런 단서가 정답을 대신 알려 주는 상황을 체계적으로 완화하려는 방식이다.
학습량과 전이의 비교
초기 연구는 허용한 학습 자료의 양에 따라 성능이 달라짐을 보여 주고 관련 상식 평가로의 전이도 실험했다. 높은 전이 성능과 평가 편향의 가능성을 함께 살펴야 한다는 점을 강조했다.
관련 문서
HellaSwag / CommonsenseQA / SocialIQA / 전이 학습 / 자연어 처리 / 추론