처음 생성한 코드 다시 보기
복잡한 코딩 과제는 한 번의 생성으로 올바른 답을 얻기 어려울 수 있다. Self-Debugging은 생성된 프로그램을 다시 살펴보고 실패한 예측도 다음 수정에 활용한다.
설명하며 오류 찾기
프로그램이 무엇을 하는지 자연어로 설명하고 실행 결과를 조사한다. 연구는 사람이 정확성이나 오류 메시지에 대해 별도 피드백을 주지 않는 조건에서도 이런 점검을 수행하는 방식을 다뤘다.
테스트의 유무
정확성 확인용 단위 테스트가 없는 Spider 조건과 테스트가 있는 TransCoder 및 MBPP 조건을 나눠 평가했다. 사용할 수 있는 피드백이 무엇인지에 따라 점검 절차도 달라진다.
후보 재사용의 의미
실패한 결과와 피드백을 활용하면 후보를 새로 많이 생성하는 방법과 다른 방식으로 계산을 사용할 수 있다. 초기 연구는 정확도뿐 아니라 생성 후보를 사용하는 효율도 비교했다.
관련 문서
Self-Refine / Reflexion / OpenCodeInterpreter / CodeRL / MBPP / 언어 모델