구조가 있는 질의 생성
일반적인 문자열로 SQL을 생성하는 대신 질의의 구조를 활용한다. 모델이 생성할 수 있는 출력 공간을 줄여 자연어에서 질의로 변환하는 과제를 다룬다.
순서가 중요하지 않은 부분
SQL에는 요소의 나열 순서만으로 정답을 판단하기 어려운 부분이 있다. 연구는 이런 부분을 교차 엔트로피만으로 최적화하는 한계를 설명했다.
실행 결과를 보상으로
데이터베이스에서 질의를 실행해 얻은 보상으로 정책을 학습한다. 생성한 질의의 문자열 형태뿐 아니라 실행을 통해 얻은 정보를 최적화에 사용하는 접근이다.
WikiSQL에서의 평가
논문은 질문과 SQL 질의의 수작업 주석 예시를 담은 WikiSQL도 제시했다. 실행 정확도와 논리 형식 정확도를 따로 평가하며 일반적인 어텐션 기반 시퀀스 모델과 비교했다.