여러 언어의 기본 학습
StarCoderBase는 The Stack에서 얻은 약 1조 토큰으로 학습했다. 초기 자료는 허용적 라이선스의 GitHub 저장소 모음을 바탕으로 구성됐다고 연구에서 설명했다.
Python 추가 학습
StarCoderBase를 350억 Python 토큰으로 미세 조정해 StarCoder를 만들었다. 기본 모델과 Python에 추가로 특화한 모델은 학습 단계가 다르다.
빈 부분 채우기와 어텐션
코드의 앞뒤 문맥을 이용해 빠진 부분을 채우는 기능을 지원했다. 멀티 쿼리 어텐션을 사용해 큰 묶음의 추론을 효율적으로 처리하도록 구성한 모델이다.
여러 평가의 비교
소개 연구는 HumanEval과 여러 프로그래밍 언어의 코드 과제에서 모델을 비교했다. Python 추가 학습 뒤 다른 언어의 성능이 유지되는지도 함께 살폈다.
관련 문서
CodeGen / Code Llama / HumanEval / MBPP / CodeSearchNet / 언어 모델