고정된 분할의 한계
같은 어휘로도 단어를 나누는 방법은 여러 개일 수 있다. 결정적인 BPE 분할은 한 시퀀스만 만들기 때문에 단어 구성이나 분할 오류에 대한 강건성 학습을 제한할 수 있다.
분할 절차의 확률적 변화
BPE-Dropout은 BPE 절차 자체를 확률적으로 변형한다. 다른 분할 알고리즘으로 완전히 바꾸는 대신 고정된 BPE 체계 안에서 여러 분할을 얻는 방식이다.
학습과 추론의 차이
학습에는 BPE-Dropout을 적용하고 추론에는 표준 BPE를 사용한다. 학습에서 분할 다양성을 보여 주는 절차와 실제 출력 생성의 분할을 구분한다.
번역 품질의 비교
논문은 일반 BPE와 기존 부분 단어 정규화 방법에 대해 기계 번역 성능을 비교했다. 보고된 개선은 해당 자료와 모델 및 분할 설정에 대한 결과다.
관련 문서
부분 단어 정규화 / SentencePiece / 한국어 토큰화 비교 / Charformer / 기계 번역 / 언어 모델