정답 코드 외의 신호
문제 설명과 정답 프로그램의 쌍만으로 학습하면 단위 테스트처럼 유용한 정보를 충분히 활용하지 못할 수 있다. CodeRL은 이런 신호를 코드 생성 과정에 연결하려 했다.
생성과 평가의 역할
코드를 생성하는 언어 모델을 행위자로 두고 기능적 정확성을 예측하는 별도의 비평기를 학습한다. 비평기는 생성 결과에 대한 촘촘한 피드백을 행위자에 제공한다.
추론 중의 재생성
학습이 끝난 뒤에도 예시 단위 테스트와 비평기 점수의 피드백으로 프로그램을 다시 생성하는 절차를 사용한다. 학습 단계의 강화 학습과 추론 단계의 후보 수정은 구분된다.
기반 모델과 평가
연구는 CodeT5의 인코더와 디코더 구조를 확장하고 학습 목표 및 자료를 조정했다. APPS의 복잡한 과제와 MBPP로의 제로샷 전이 조건을 평가했다.
관련 문서
CodeT5 / APPS 코드 평가 / MBPP / OpenCodeInterpreter / 강화 학습 / 언어 모델