모델 이전의 차이
언어별 차이는 모델이 내용을 처리하기 전 토큰화 단계부터 생길 수 있다. 연구는 같은 텍스트를 번역했을 때 인코딩 길이가 크게 달라지는 사례를 분석했다.
다언어 토크나이저
다언어 지원을 의도해 학습한 토크나이저에서도 격차가 관찰됐다. 단순히 여러 언어를 처리할 수 있다는 사실과 같은 내용을 비슷한 길이로 표현하는지는 다르다.
문자와 바이트도 같은 길이는 아님
문자나 바이트를 직접 사용해도 일부 언어 쌍의 인코딩 길이는 크게 달랐다. 작은 단위로 바꾸는 것만으로 언어별 길이 차이가 자동으로 사라지지는 않는다.
접근성과 문맥 한도
토큰 수에 따라 비용이나 시간이 달라지면 같은 과제를 수행하는 부담도 달라질 수 있다. 고정된 문맥 한도 안에 넣을 수 있는 내용의 양도 영향을 받으므로 다언어 평가에서 함께 고려할 요소다.
관련 문서
SentencePiece / ByT5 / CANINE / Byte Latent Transformer / Belebele / 언어 모델