질문이 이어지는 상황
사용자가 데이터베이스와 상호작용하며 연관된 질문을 이어가는 상황에서 자료를 얻었다. 각 질문에는 SQL 질의가 주석으로 붙으며 전체 시퀀스가 하나의 문맥을 이룬다.
문맥에 의존하는 의미
뒤의 질문은 앞서 언급한 조건이나 대상을 전제로 할 수 있다. 따라서 현재 질문만 분리해 해석하는 것과 이전 문맥을 고려하는 것은 다른 과제가 된다.
분야를 넘는 평가
자료는 138개 분야에 걸쳐 있으며 시험에는 처음 보는 데이터베이스가 나온다. 문맥의 의미를 추적하는 동시에 새 스키마를 이해해야 한다.
질문과 시퀀스의 평가
초기 연구는 문맥 의존 설정에 맞춘 자연어 SQL 모델들을 비교했다. 개별 질문의 정확 일치와 상호작용 시퀀스 전체의 정확 일치는 다른 단위의 결과다.