모델이 읽는 단위
토큰은 텍스트의 문맥 정보를 표현하는 기본 단위로 사용된다. 같은 문장도 어떻게 나누는지에 따라 모델이 학습하는 표현과 과제의 결과가 달라질 수 있다.
형태소와 BPE의 결합
2020년 비교 연구는 형태소로 먼저 분할한 뒤 BPE를 적용하는 혼합 방법을 평가했다. 한국어와 영어 사이의 번역 및 여러 이해 과제에서 유리한 결과를 보고했다.
독해 과제의 차이
같은 실험에서 KorQuAD는 BPE 분할이 가장 효과적인 예외로 나타났다. 한 과제에서 좋은 분할이 다른 과제에도 반드시 최선인 것은 아니라는 점을 보여 준다.
비교 결과의 적용
연구의 결론은 사용한 자료와 모델 및 학습 조건에 기반한다. 새로운 과제에서는 어휘 구성과 평가 조건을 함께 비교해야 하며 특정 분할을 모든 한국어 모델의 정답으로 볼 수는 없다.
관련 문서
KLUE / KoBEST / ByT5 / CANINE / Charformer / 기계 번역