기본적인 프로그래밍 문제
문제는 초급 프로그래머가 해결할 수 있는 수준으로 설계됐다. 자연어로 주어진 설명을 읽고 짧은 Python 프로그램으로 구현하는 능력을 측정한다.
학습 방식의 비교
소개 연구는 적은 수의 예를 프롬프트에 넣는 방식과 자료로 미세 조정하는 방식을 모두 평가했다. 같은 문제 자료라도 모델의 학습 조건에 따라 결과가 달라진다.
모델 규모의 영향
초기 연구는 여러 크기의 모델에서 코드 합성 성능을 비교했다. 코드 자료로 별도 미세 조정하지 않은 모델도 잘 구성한 소수 예시 프롬프트로 일부 문제를 해결하는 결과를 제시했다.
코드 생성과 실행 이해
관련 연구는 생성 코드에 대한 사람의 자연어 피드백과 실행 결과 예측도 살폈다. 프로그램을 만들어 내는 능력이 특정 입력에서의 출력을 정확히 예측하는 능력과 같지 않다는 점을 분석했다.