고정 어휘의 한계
부분 단어 어휘는 언어마다 똑같이 적합하지 않을 수 있고 새 환경에 적응하는 능력을 제한할 수 있다. CANINE은 문자 입력을 직접 처리하는 인코더로 이런 문제를 다뤘다.
입력 길이를 줄이기
문자 수준의 세밀한 입력은 시퀀스가 길어지는 부담이 있다. 다운샘플링으로 길이를 줄이고 깊은 트랜스포머 층이 문맥을 인코딩하도록 결합했다.
사전 학습의 조건
문자를 직접 사용하는 전략과 부분 단어를 부드러운 귀납 편향으로 선택적으로 이용하는 전략을 제시했다. 고정 토큰화가 필수인 입력 처리와 학습에 보조 정보를 쓰는 방식은 구분된다.
다언어 질의응답 평가
연구는 TyDi QA에서 비슷한 mBERT 모델과 비교했다. 토큰화가 없는 모델의 표현 능력과 매개변수 규모를 함께 분석하는 초기 평가를 제공했다.
관련 문서
Charformer / ByT5 / MambaByte / Byte Latent Transformer / BERT / 자연어 처리