개발 이력을 학습에 활용하기
Git 커밋에는 코드 변경과 그 변경을 설명하는 사람의 문장이 함께 담길 수 있다. OctoPack은 이 구조를 활용해 코드와 지시의 관계를 학습하도록 했다.
CommitPack의 구성
연구는 350개 프로그래밍 언어에 걸친 약 4테라바이트의 Git 커밋을 모아 CommitPack을 구성했다. 이는 모델 매개변수 수가 아니라 학습 자료의 규모다.
서로 다른 지시 자료 비교
자연적으로 만들어진 코드 지시와 합성된 지시 자료 등을 비교했다. 초기 실험은 160억 매개변수 StarCoder 모델을 포함하며 자료의 선택이 지시 조정에 미치는 영향을 살폈다.
생성과 수정 및 설명
연구는 코드 생성뿐 아니라 수정과 설명으로 평가 범위를 넓혔다. OctoCoder와 OctoGeeX 모델을 제시하고 여러 언어의 코딩 과제에서 성능을 비교했다.
관련 문서
StarCoder / 지시 조정 / CodeXGLUE / HumanEval / OpenCodeInterpreter / 언어 모델