지시의 복잡도 높이기
Code Evol-Instruct는 기본적인 코드 지시 자료를 더 복잡한 자료로 발전시킨다. 모델이 이미 학습한 코딩 능력을 다양한 요구에 맞게 활용하도록 하는 것이 목적이다.
코드 과제에 맞는 요구
코딩 작업의 특성에 맞춘 규칙과 시간 및 공간 복잡도 요구 등을 자료 생성에 포함한다. 일반적인 언어 지시를 그대로 사용하는 것과 구분되는 부분이다.
생성과 미세 조정
먼저 코드 지시 자료를 발전시킨 뒤 생성된 자료로 기반 모델을 미세 조정한다. 지시 자료를 만드는 과정과 최종 코드 모델을 학습하는 과정이 이어지는 구조다.
다양한 코드 과제 평가
연구는 HumanEval과 MBPP 및 DS-1000 등을 포함한 코드 평가에서 비교했다. 평가 당시의 모델과 설정에 따른 결과이며 현재 모델들의 순위를 뜻하지는 않는다.
관련 문서
Magicoder / StarCoder / Code Llama / OctoPack / MBPP / DS-1000