자유로운 출력 공간
텍스트 언어 모델은 각 단계에서 많은 부분 단어 토큰을 출력할 수 있다. 형식이 제한된 언어를 생성할 때는 이런 자유도가 유효하지 않은 코드로 이어질 수 있다.
생성 단계마다 검사하기
PICARD는 자기회귀 디코딩의 각 단계에 점진적 파싱을 결합한다. 현재 출력의 연장으로 허용되지 않는 토큰을 거부해 유효한 출력 시퀀스를 찾도록 돕는다.
미세 조정과의 결합
논문은 SQL 생성에 맞춰 미세 조정한 T5 모델에 이 방법을 적용했다. 모델을 학습하는 일과 생성할 때 선택 가능한 토큰을 제한하는 일은 다른 단계다.
유효성과 의미의 구분
Spider와 CoSQL의 자연어 SQL 변환 과제로 성능을 비교했다. 형식상 허용되는 질의라도 질문의 의도와 다를 수 있으므로 문법적 유효성과 답의 의미적 정확성은 구분된다.
관련 문서
RAT-SQL / SQL / 언어 모델 / CodeT / LEVER 코드 검증 / 자연어 처리