여러 후보 중 하나 고르기
언어 모델이 다양한 코드를 생성하더라도 어느 프로그램을 선택할지는 별개의 문제다. CodeT는 후보가 실제로 어떤 결과를 내는지를 이용해 선택한다.
테스트도 함께 생성하기
같은 사전 학습 언어 모델을 활용해 코드 후보를 평가할 테스트 사례를 자동 생성한다. 사람이 직접 모든 테스트를 작성해야 하는 부담을 줄이려는 접근이다.
이중 실행 일치
생성한 테스트를 코드 후보에 실행한다. 테스트에 대한 결과의 일관성과 다른 코드 후보의 출력 사이의 일치 관계를 함께 고려하는 방식을 제시했다.
선택 성능의 평가
HumanEval과 MBPP 및 APPS 등을 포함한 네 평가에서 서로 다른 규모의 다섯 모델을 비교했다. 생성한 테스트와 후보가 함께 잘못될 수 있으므로 일치가 곧 전체 요구의 증명은 아니다.
관련 문서
CodeRL / HumanEval / MBPP / APPS 코드 평가 / SelfCodeAlign / 소프트웨어 테스트