정확도 바깥의 동작
익숙한 분포의 시험에서 높은 정확도를 얻어도 중요한 언어 동작에 실패할 수 있다. CheckList는 소프트웨어 공학의 행동 검사에서 영감을 받아 이러한 실패를 체계적으로 찾는다.
능력과 시험 유형의 조합
일반적인 언어 능력과 시험 유형을 행렬로 배치해 무엇을 검사할지 생각하도록 돕는다. 하나의 과제에만 맞춘 평가가 아니라 여러 과제에 적용할 수 있는 방법론이다.
다양한 사례를 만드는 도구
방법론과 함께 많은 종류의 시험 사례를 빠르게 만드는 소프트웨어 도구를 제공했다. 점수 하나를 추가하는 것보다 구체적인 모델 동작을 점검할 사례를 넓히는 데 초점이 있다.
실제 모델에서의 검사
소개 연구는 세 과제의 상용 모델과 연구 모델에서 중요한 실패를 찾았다. 사용자 연구에서도 이미 충분히 검사했다고 여긴 감정 분석 모델에서 수정 가능한 새 오류를 발견한 사례를 제시했다.
관련 문서
HANS 추론 진단 / ANLI / HellaSwag / 자연어 처리 / 소프트웨어 테스트 / 언어 모델