시간에 따라 바뀌는 자료
LeetCode와 AtCoder, CodeForces의 대회에서 새 문제를 지속적으로 수집하는 방식을 제안했다. 고정된 문제 목록을 반복 사용하는 평가의 한계를 다루려는 구성이다.
코드 생성 이상의 능력
완성 코드를 만드는 것뿐 아니라 스스로 수정하는 능력과 코드 실행, 시험 출력의 예측을 평가한다. 여러 종류의 코딩 관련 능력을 함께 비교하도록 범위를 넓혔다.
평가 오염의 분석
소개 연구는 평가 자료가 학습에 섞이는 오염과 기존 벤치마크에 대한 과적합 가능성을 분석했다. 자료의 발표 시점과 평가 범위를 함께 살피는 것이 중요한 이유다.
초기 평가의 범위
2024년 논문은 해당 기간의 400개 문제로 기본 모델 18개와 지시 학습 모델 34개를 평가했다. 이 수치는 초기 논문 구성으로, 이후의 모든 평가 실행이 같은 문제 집합을 쓴다는 뜻은 아니다.