코드를 출발점으로 삼기
언어 모델이 아무 참고 없이 만드는 합성 자료에는 편향이 생길 수 있다. OSS-Instruct는 공개 코드 조각을 참고 자료로 제공해 다양한 코드 지시를 생성하도록 한다.
자료의 다양성과 통제
연구는 풍부한 코드 참고 자료를 이용해 더 현실적이고 통제 가능한 지시 자료를 만드는 방향을 제안했다. 코드 조각의 역할은 학습 과제를 만드는 출발점이라는 데 있다.
학습한 모델 계열
Magicoder 모델은 약 7만 5천 개의 합성 지시 자료로 학습했다. 논문이 소개한 모델은 최대 70억 매개변수 규모다.
다른 생성 방법과의 결합
OSS-Instruct와 Evol-Instruct처럼 서로 다른 자료 생성 방법을 함께 사용하는 MagicoderS도 제시했다. 생성 방법의 결합과 기반 모델의 크기를 구분해 비교할 수 있다.
관련 문서
SelfCodeAlign / OctoPack / WizardCoder / Code Llama / HumanEval / 언어 모델