여러 크기의 코드 모델
보고서는 5억과 15억, 30억, 70억, 140억, 320억 매개변수의 여섯 크기를 제시했다. CodeQwen1.5 이후 코드에 특화한 모델 계열로 소개됐다.
추가 사전 학습의 자료
Qwen2.5 구조에 기반해 큰 말뭉치에서 추가 사전 학습을 수행했다. 세심한 자료 정리와 규모를 넓힐 수 있는 합성 자료 생성, 균형 잡힌 혼합을 주요 요소로 제시했다.
코드와 일반 능력
코드 생성 능력을 높이면서 일반 능력과 수학 능력도 유지하는 방향을 다뤘다. 코드에 특화된 결과와 다른 문제 해결 능력을 함께 검토한 구성이다.
다양한 코드 과제
보고서는 코드 생성과 완성, 추론 및 수정 등을 포함하는 여러 평가를 수행했다. 하나의 문제 유형만으로 판단하지 않고 다양한 코드 관련 작업의 결과를 비교했다.
관련 문서
DeepSeek-Coder / Code Llama / StarCoder / CodeT5 / CodeXGLUE / 언어 모델