이해와 생성의 동작 조절
코드 완성처럼 자기 회귀적으로 이어 쓰는 과제는 효율적인 디코더 동작이 중요하다. UniXcoder는 어텐션 마스크 행렬과 접두 어댑터로 모델의 동작을 조절하는 통합 방식을 제안했다.
구문 트리의 순차 표현
트리 형태의 추상 구문 구조를 병렬로 인코딩하기 위해 일대일 대응의 순차 변환 방법을 제시했다. 트리의 구조 정보를 유지한 채 모델 입력으로 다루려는 구성이다.
대조 학습과 교차 생성
구문 구조와 주석 등 여러 형태의 정보를 대조 학습에 활용해 코드 조각의 표현을 익힌다. 교차 생성 과제로 프로그래밍 언어 사이의 표현도 정렬한다.
코드 조각의 검색 평가
소개 연구는 여러 코드 과제를 평가하고 제로샷 코드 간 검색이라는 과제를 위한 자료도 만들었다. 주석과 구문 구조가 코드 표현에 주는 영향을 함께 분석했다.
관련 문서
CodeBERT / GraphCodeBERT / CodeT5 / PLBART / CodeSearchNet / Transformer