용도에 따른 모델 구분
기본 Code Llama와 Python에 특화한 Code Llama - Python, 지시를 따르는 Code Llama - Instruct를 제공했다. 하나의 이름 아래에서도 학습 목적에 따라 유형이 달라진다.
문맥 길이의 확장
논문 확장판은 1만 6천 토큰 길이의 시퀀스로 학습하고 최대 10만 토큰 입력에서의 개선을 보고했다. 학습에 사용한 길이와 실험에서 살핀 입력 길이를 구별한다.
주변 코드로 빈칸 채우기
일부 Code Llama 및 Instruct 변형은 주변 내용을 이용해 빠진 코드를 채운다. 모든 크기와 모든 유형에 같은 기능이 있다고 묶기보다 변형별 지원을 살펴야 하는 구성이다.
코드 평가에서의 비교
소개 연구는 HumanEval과 MBPP 및 여러 언어의 MultiPL-E에서 결과를 제시했다. 일반 기반 모델과 Python 특화 모델을 비교하며 코드에 특화한 학습의 효과를 살폈다.