구조가 달라지는 평가
질문에 답하려면 어떤 테이블과 열을 이용해야 하는지 이해해야 한다. Spider는 여러 테이블로 구성된 데이터베이스를 사용하며 138개 분야를 포괄한다.
학습과 시험의 분리
학습 집합과 시험 집합에 서로 다른 데이터베이스와 복잡한 질의가 나타나도록 과제를 구성했다. 같은 구조를 반복해 익히는 능력만으로는 충분하지 않게 만든 것이다.
두 가지 일반화
모델은 새로운 SQL 질의를 구성하는 동시에 새로운 스키마를 이해해야 한다. 질문의 언어적 의미와 데이터베이스의 구조를 연결하는 능력이 함께 필요하다.
평가 결과의 해석
초기 연구는 데이터베이스를 나눈 조건에서 여러 모델의 정확 일치를 비교했다. 데이터셋의 초기 평가 결과와 이후 모델의 성능은 발표 시점과 설정을 구분해 보아야 한다.