하나로 정해지지 않는 분할
부분 단어는 드문 단어나 새 단어를 다루는 데 유용하다. 하지만 같은 어휘로도 한 문장을 나누는 방법은 여러 개일 수 있어 고정된 한 시퀀스만이 유일한 선택은 아니다.
학습에 다양성 넣기
학습 중 확률적으로 다른 분할을 샘플링한다. 분할의 모호함을 잡음으로 활용해 신경 기계 번역 모델의 강건성을 높이려는 접근이다.
유니그램 기반 분할
연구는 분할 후보를 더 잘 샘플링하기 위한 유니그램 언어 모델 기반 알고리즘도 제안했다. 분할을 만드는 모델과 그 분할을 받아 번역하는 모델을 구분할 수 있다.
자료가 부족한 조건
논문은 여러 말뭉치에서 실험하고 특히 저자원과 분포 밖 조건의 개선을 보고했다. 효과는 학습 자료와 분할 설정에 따라 검증해야 한다.
관련 문서
SentencePiece / 한국어 토큰화 비교 / Charformer / ByT5 / 기계 번역 / 언어 모델