알고리즘적 문제 해결
복잡한 대회 문제는 자연어 지시를 코드로 옮기는 것 이상의 이해를 요구한다. AlphaCode는 알고리즘과 긴 문제 설명을 이해해 새로운 풀이를 구성하는 코드 생성의 어려움을 다뤘다.
자료와 모델의 구성
연구는 크고 정제된 경쟁 프로그래밍 자료 및 효율적으로 후보를 생성할 수 있는 Transformer 구조를 중요한 요소로 제시했다. 단일 모델의 크기만으로 시스템을 설명하기 어렵다.
후보 생성과 동작 기반 선별
대규모로 후보를 생성해 풀이 공간을 탐색한 뒤 프로그램 동작에 따라 필터링했다. 많은 생성 결과를 모두 제출하는 대신 작은 제출 집합으로 줄이는 과정이 포함된다.
모의 대회의 결과
초기 논문은 참가자가 5천 명을 넘는 Codeforces 대회의 모의 평가에서 평균 상위 54.3% 수준의 순위를 보고했다. 이는 당시 시스템과 평가 조건에 관한 결과이며 실제 모든 대회의 성적을 뜻하지 않는다.
관련 문서
APPS 코드 평가 / HumanEval / CodeGen / LiveCodeBench / 알고리즘 / 프로그래밍