처음부터 학습한 모델 계열
소개 연구는 13억에서 330억 매개변수 크기의 모델을 2조 토큰으로 처음부터 학습했다고 설명했다. 하나의 모델 크기만으로 코드 능력을 대표하지 않고 여러 규모를 구성했다.
프로젝트 수준의 코드
사전 학습에는 높은 품질의 프로젝트 수준 코드 말뭉치를 사용했다. 개별 코드 조각을 다루는 과제와 프로젝트의 문맥을 학습 자료에 반영하는 접근을 구별할 수 있다.
빈 부분을 채우는 학습
1만 6천 토큰 창에서 빈 부분을 채우는 과제를 사용해 코드 생성과 삽입을 강화하려 했다. 뒤에 토큰을 붙이는 생성과 주변 내용에 맞춘 복원은 입력 문맥을 이용하는 방식이 다르다.
여러 코드 평가의 비교
초기 논문은 여러 코드 벤치마크에서 모델 계열을 평가했다. 크기와 학습 자료 및 빈칸 과제를 결합한 설계의 효과를 살핀 연구이며 이후 모든 코드 모델의 순위를 나타내는 결과는 아니다.
관련 문서
StarCoder / Code Llama / CodeGen / HumanEval / CodeXGLUE / 언어 모델