문자 구조와 언어 구조
한글의 자모 조합과 한국어의 형태소 결합은 서로 다른 연구 단서다. 자모 기반 접근은 음절의 내부 구조를 이용한다. 형태소 기반 접근은 어간과 조사, 어미 같은 의미·문법 단위를 반영한다.
MoB의 처리 방법
충북대학교 연구진의 EACL 2026 논문은 MoB를 제안했다. 형태소를 기본형으로 복원한 뒤, 어절 시작과 어절 내부 형태소 경계를 접두 표시로 구별해 부분단어를 학습한다. 경계마다 별도 토큰을 넣는 부담을 줄이는 설계다.
실험 결과의 범위
논문은 BERT 기반 모델의 한국어 이해 과제를 평가했다. 비교 대상 MoA보다 입력당 평균 토큰 수가 약 19% 줄었지만 모든 과제에서 성능이 오른 것은 아니다. 형태소 분석 오류가 많은 자료와 생성 모델에서의 활용에는 추가 검증이 필요하다. 특정 상용 서비스의 비용이나 속도가 같은 비율로 개선된다는 뜻은 아니다.
자모 기반 연구와의 차이
별도의 LoResMT 2025 연구는 음절을 초성·중성·종성 자모로 분해한 뒤 부분단어 토큰화를 적용했다. 데이터와 어휘 예산이 작은 번역 조건에서 장점을 보였지만, 데이터가 많은 조건에서 항상 우세하지는 않았다. 한글 구조는 설계에 활용할 수 있는 정보이며 성능은 실험 조건에 따라 판단해야 한다.
연구 원문: Morpheme Matters, EACL 2026 / Jamo-Level Subword Tokenization, LoResMT 2025