설명에서 프로그램 만들기
독스트링에 적힌 요구를 바탕으로 프로그램을 합성하는 능력을 평가한다. 문법이나 코드의 외형이 자연스럽다는 것과 요구한 기능을 구현했다는 것은 구별되는 판단이다.
실행으로 확인하는 결과
공식 평가 도구는 생성 결과가 통과했는지와 실행 결과를 기록한다. 실행은 통과와 실패뿐 아니라 시간 초과로도 구분된다.
여러 후보를 생성하는 비교
소개 연구는 반복적으로 후보를 생성하는 방법이 작동하는 풀이를 찾는 데 효과적일 수 있음을 보였다. 후보 수가 다른 결과는 한 번의 생성 성능과 같은 조건으로 읽어서는 안 된다.
pass@k와 후보 수
공식 도구는 pass@1과 pass@10, pass@100 등의 지표를 계산한다. 생성한 후보가 k개보다 적으면 해당 pass@k를 평가하지 않으므로 후보 수는 결과를 해석하는 기본 조건이다.
관련 문서
MBPP / GSM8K / MATH 수학 평가 / 언어 모델 / 소프트웨어 테스트 / 프로그래밍