단어 분할을 전제하지 않기
기존 부분 단어 분할 도구는 입력이 이미 단어 시퀀스로 나뉘었다고 가정하는 경우가 있었다. SentencePiece는 원시 문장으로부터 직접 모델을 학습하도록 설계됐다.
분할과 복원
텍스트를 부분 단어 단위로 바꾸는 토큰화와 단위 시퀀스를 텍스트로 되돌리는 역토큰화를 제공한다. 언어별 전처리 단계를 줄이는 흐름의 일부로 사용할 수 있다.
신경망 텍스트 처리
신경 기계 번역 등을 위한 도구로 제시됐으며 C++과 파이썬 구현을 제공했다. 모델의 언어적 단위를 정하는 처리와 번역 모델 자체의 학습은 다른 역할이다.
초기 검증 실험
연구는 영어와 일본어의 기계 번역으로 원시 문장 기반 학습을 검증했다. 부분 단어 학습과 분할의 여러 설정도 비교해 전처리 조건에 따른 영향을 살폈다.
관련 문서
부분 단어 정규화 / 한국어 토큰화 비교 / Charformer / ByT5 / 기계 번역 / 언어 모델