자연어 요구의 구현
제한적인 형식에만 맞춘 코드 생성에서 벗어나 자연어 명세를 만족하는 Python 코드를 만들도록 한다. 질문을 이해하는 과정과 그 요구를 프로그램으로 바꾸는 과정을 함께 평가한다.
넓은 문제 난도
자료는 한 줄로 풀 수 있는 문제부터 상당한 알고리즘적 도전이 되는 문제까지 포함한다. 같은 코드 생성이라는 이름 안에서도 요구하는 문제 해결 수준이 다름을 반영했다.
시험 사례에 의한 평가
생성된 코드를 시험 사례에서 검사하는 방식은 개발자 채용의 코딩 평가와 비슷하다. 자연스러워 보이는 코드보다 요구한 입력과 출력의 동작을 확인하는 평가다.
문법과 해결 능력의 구분
초기 연구는 모델 개선에 따라 문법 오류가 줄어드는 현상을 관찰했다. 다만 문법적으로 실행 가능한 코드가 된 것과 문제의 시험 사례를 통과하는 것은 다른 수준의 능력이다.