실용적인 데이터 과학 문제
StackOverflow에서 수집한 사례를 바탕으로 다양하고 현실적인 사용 상황을 반영했다. 짧은 일반 알고리즘 문제만으로 드러나지 않는 데이터 과학 라이브러리 활용을 평가한다.
기능과 형식의 다중 기준
시험 사례를 실행해 기능적 정확성을 검사하며 API 사용이나 키워드에 관한 조건도 확인한다. 최종 결과가 비슷하다는 이유만으로 모든 제약을 충족했다고 판단하지 않는 방식이다.
암기 영향을 줄이는 변형
원래 게시물과 조금 다르게 문제를 수정해 사전 학습에서 본 답을 그대로 재현하는 영향을 줄이려 했다. 익숙한 원문을 기억하는 것과 바뀐 요구를 해결하는 것을 구별하려는 설계다.
평가의 신뢰성 검사
소개 연구는 특정 모델이 생성한 답 가운데 자동 평가가 받아들인 결과를 다시 확인했다. 평가가 통과시킨 코드의 오류 비율을 살펴 자동 검사 자체의 신뢰성도 함께 분석했다.
관련 문서
APPS 코드 평가 / HumanEval / MBPP / NumPy / Pandas / 언어 모델