코드 이해와 변환
코드 유사성 판별과 결함 탐지, 가려진 토큰 예측, 코드 완성, 수정 및 프로그래밍 언어 간 변환을 포함한다. 코드를 입력받아 판단하거나 다른 코드로 출력하는 여러 능력을 평가한다.
자연어와 코드의 연결
자연어로 코드를 찾거나 설명에서 코드를 생성하는 과제를 다룬다. 반대로 코드에서 설명을 생성하는 요약과 사람의 언어 사이에서 문서를 번역하는 과제도 포함한다.
서로 다른 기준 시스템
BERT 계열과 GPT 계열, 인코더-디코더 구조의 세 기준 시스템을 제공했다. 이해와 완성 및 순차 생성처럼 서로 다른 과제에 맞는 비교 출발점을 마련한 구성이다.
과제별 결과의 비교
초기 구성은 열 가지 과제와 열네 자료를 포함한다. 한 문제의 정답률만으로 코드 전반의 능력을 단정하기보다 어떤 입력과 출력의 과제에서 성능을 얻었는지 나눠 살펴보도록 한다.
관련 문서
CodeSearchNet / HumanEval / MBPP / APPS 코드 평가 / DS-1000 / 프로그래밍