토큰화도 함께 학습하기
외부에서 정한 단단한 부분 단어 분할 대신 모델이 표현 단위를 종단 간 학습하게 한다. 새로운 설정에 적응할 때 고정 분할이 주는 제약을 다루는 접근이다.
GBST의 후보 블록
기울기 기반의 부드러운 부분 단어 토큰화 모듈이 문자로부터 잠재 표현을 학습한다. 가능한 부분 단어 블록을 열거하고 블록 점수 네트워크가 위치별로 점수를 매긴다.
바이트 모델과 통합
Charformer는 GBST를 깊은 트랜스포머에 결합해 바이트 수준에서 동작하도록 한다. 입력을 작은 단위로 읽는 것과 내부적으로 묶음 표현을 학습하는 것을 함께 활용한다.
여러 입력 조건의 비교
영어 GLUE와 다언어 및 잡음 텍스트 자료로 성능을 비교했다. 바이트 기반 모델과 부분 단어 기반 모델을 대상으로 품질과 속도의 절충을 살폈다.
관련 문서
CANINE / ByT5 / Byte Latent Transformer / MEGABYTE / GLUE / 트랜스포머