명세에서 프로그램으로
입출력 예나 자연어로 표현한 요구를 만족하는 프로그램을 만드는 문제를 다룬다. CodeGen은 이런 프로그램 합성을 연구할 수 있도록 여러 크기의 모델을 학습하고 공개했다.
다중 단계의 프롬프트
하나의 프로그램을 여러 하위 문제의 지시로 나누는 방식을 살폈다. 같은 의도를 한 번에 전달하는 경우와 여러 차례에 걸쳐 전달하는 경우의 생성 성능을 비교한다.
MTPB의 구성
관련 연구는 여러 차례의 프롬프트로 나눈 115개 문제 집합을 포함하는 Multi-Turn Programming Benchmark를 제안했다. 한 번의 함수 생성 평가와 다른 상호작용 구조를 다룬다.
초기 실험의 결과
연구는 HumanEval의 제로샷 Python 생성과 MTPB에서 모델을 평가했다. MTPB에서는 같은 의도를 여러 턴으로 제공하는 방식이 단일 턴보다 프로그램 합성을 개선하는 결과를 보였다.
관련 문서
UniXcoder / HumanEval / MBPP / APPS 코드 평가 / 언어 모델 / 프로그래밍