위키득계정 ↗
기술

PLBART

PLBART기술
발표
2021년
구조
시퀀스-투-시퀀스
사전 학습 코드
Java와 Python 함수
사전 학습 방식
잡음 제거 오토인코딩
PLBART는 코드와 자연어의 이해 및 생성을 함께 다루는 순차 변환 모델이다. Java와 Python 함수 및 관련 자연어 자료를 잡음 제거 방식으로 사전 학습해 여러 코드 과제에 활용한다.

코드와 설명의 변환

코드를 자연어로 요약하거나 자연어에서 코드를 만드는 작업은 서로 다른 표현 사이의 변환이다. PLBART는 이러한 작업과 코드 번역을 넓은 순차 변환 틀에서 다룬다.

잡음을 제거하는 사전 학습

많은 Java 및 Python 함수와 관련 자연어 텍스트를 잡음 제거 오토인코딩으로 학습했다. 이를 통해 코드와 설명의 표현을 후속 과제에 활용할 기반을 마련했다.

다양한 생성과 이해 과제

초기 연구는 영어 코드 요약과 코드 생성, 여러 프로그래밍 언어의 코드 번역을 실험했다. 코드 수정과 유사 코드 및 취약 코드 탐지 같은 이해 관련 과제도 살폈다.

코드 의미에 관한 분석

연구는 문법과 이름을 붙이는 스타일, 논리 흐름처럼 코드 의미에 중요한 요소를 모델이 익히는지를 분석했다. 주석이 제한적인 조건에서의 활용 가능성도 함께 평가했다.

관련 문서

CodeT5 / CodeBERT / CodeXGLUE / CodeSearchNet / Transformer / 프로그래밍