자연어와 코드의 간격
사람은 원하는 기능을 자연어의 모호한 개념으로 설명할 수 있지만 코드에는 축약되고 기술적인 표현이 많다. 의미 기반 코드 검색은 두 표현 사이의 간격을 넘어 관련 코드를 찾아야 한다.
여섯 언어의 함수
초기 말뭉치는 Go와 Java, JavaScript, PHP, Python, Ruby의 오픈 소스 함수를 포함했다. 여러 프로그래밍 언어에 걸쳐 자연어 질의와 코드의 대응을 연구하도록 구성했다.
문서에서 얻은 설명
약 200만 함수에는 대응 함수 문서를 수집하고 전처리해 얻은 질의와 비슷한 자연어도 제공됐다. 전체 함수 수와 이런 설명을 갖춘 함수 수는 서로 다르다.
전문가의 관련성 평가
도전 평가는 자연어 질의 99개에 대해 예상 검색 결과의 관련성을 전문가가 표시한 약 4천 주석을 포함했다. 큰 학습 말뭉치와 실제 검색의 관련성을 판단하는 평가 자료를 구분한다.