실제 이슈와 코드베이스
GitHub의 실제 이슈와 대응하는 풀 리퀘스트에서 문제를 구성했다. 모델에는 코드베이스와 해결해야 할 이슈 설명이 주어지며 그 요구에 맞게 코드를 수정하도록 한다.
여러 부분을 함께 수정하기
문제를 해결하려면 여러 함수와 클래스, 파일을 동시에 이해하고 변경을 조정해야 하는 경우가 많다. 하나의 함수에만 맞춘 생성 문제보다 넓은 문맥을 요구한다.
실행 환경과 긴 문맥
기존 프로젝트를 다루려면 실행 환경과 상호작용하고 긴 문맥을 처리하며 복잡한 추론을 수행해야 한다. 프로그램을 작성하는 능력뿐 아니라 이미 존재하는 시스템을 이해하는 능력이 평가에 포함된다.
논문 구성의 해석
문제 수와 저장소 수는 이 문서에서 설명하는 논문 구성에 관한 수치다. 초기 연구는 기존 모델과 미세 조정 모델을 비교해 실제 이슈 해결의 어려움을 제시했다.
관련 문서
APPS 코드 평가 / HumanEval / MBPP / 소프트웨어 테스트 / 프로그래밍 / 언어 모델