코드 모델의 공개 비교
초기 연구는 여러 코드 및 일반 언어 모델을 다양한 프로그래밍 언어에서 비교했다. 비공개 모델의 설계와 자료에 관한 정보를 알기 어려운 상황에서 공개 모델로 연구할 지점을 찾으려 했다.
코드만으로 이루어진 학습
PolyCoder는 열두 프로그래밍 언어의 코드 말뭉치로 학습했다. 주로 자연어를 학습한 공개 모델과 구별되는 코드 전용 다국어 학습의 사례로 제안됐다.
구조와 학습 규모
GPT-2 구조를 기반으로 27억 매개변수를 구성하고 한 대의 기계에서 249GB 코드를 학습했다. 모델 구조와 학습 자원을 함께 밝혀 코드 모델의 선택을 비교할 기반을 제공했다.
언어별 결과의 차이
초기 연구는 일부 언어에서 공개 모델이 당시 비공개 모델과 가까운 결과를 내는 사례를 보고했다. PolyCoder는 특히 C에서의 결과를 제시해 전체 평균과 언어별 능력의 차이를 보여 주었다.
관련 문서
InCoder / CodeGen / StarCoder / Code Llama / CodeSearchNet / 언어 모델