생성 뒤의 실행 과정
코드 문자열을 생성하는 능력과 실제 실행 결과를 이용해 고치는 능력은 구분된다. 이 시스템은 실행을 포함하는 반복적인 작업 흐름을 모델에 연결한다.
여러 차례의 피드백
Code-Feedback은 여러 차례 이어지는 상호작용을 담는다. 실행과 사람의 피드백을 이용하는 동적인 수정 과정이 연구의 핵심이다.
평가 조건의 구분
HumanEval과 MBPP 및 강화된 평가 변형에서 결과를 비교했다. 합성된 사람 피드백을 추가한 조건도 따로 다루므로 서로 다른 조건의 점수를 같은 설정으로 보아서는 안 된다.
검증 범위
벤치마크의 실행 검사는 문제에 주어진 요구를 얼마나 충족했는지 살펴본다. 특정 평가의 높은 점수가 모든 프로그램의 정확성이나 실제 운영 환경의 적합성을 보장하지는 않는다.
관련 문서
HumanEval / MBPP / Code Llama / DeepSeek-Coder / PAL 프로그램 보조 추론 / Self-Refine