실행 결과에 담긴 단서
프로그램의 출력에는 자료형과 값의 범위처럼 정답 여부를 판단할 단서가 있을 수 있다. LEVER는 이런 의미적 특징을 단순 규칙만으로 판단하는 한계를 다룬다.
검증기 학습하기
언어 모델이 생성한 프로그램에 대해 자연어 입력과 코드 자체 및 실행 결과를 검증기에 제공한다. 검증기는 이 정보를 바탕으로 프로그램이 올바른지를 예측하도록 학습한다.
후보 점수 결합하기
검증 점수를 언어 모델의 생성 확률과 결합해 후보를 다시 정렬한다. 같은 실행 결과를 내는 프로그램들에 대해서는 확률을 모으는 과정도 사용한다.
언어에서 코드로 이어지는 과제
연구는 표 질의응답과 수학 질의응답 및 기본 파이썬 프로그래밍 영역의 네 데이터셋에서 평가했다. 이는 형식 증명에 의한 검증이 아니라 학습한 검증기로 코드 후보를 선택하는 방법이다.
관련 문서
CodeT / CodeRL / PAL 프로그램 보조 추론 / Program of Thoughts / HumanEval / 언어 모델