바이트 입력의 길이
부분 단어 토큰을 쓰지 않고 바이트를 직접 처리하면 시퀀스가 길어진다. 일반적인 자기회귀 트랜스포머는 긴 입력에서 필요한 메모리가 증가하므로 다른 계산 구조가 도움이 될 수 있다.
고정 크기 상태
MambaByte는 고정 크기 기억 상태를 사용하는 Mamba를 바이트 입력에 맞춰 적용했다. 바이트 수준의 언어 모델링과 잡음에 대한 강건성을 함께 연구했다.
초안과 검증의 단위
논문은 토큰화한 단위로 초안을 만들고 바이트 수준으로 검증하는 추측 디코딩 변형을 제시했다. 모델이 학습하는 기본 입력 단위와 생성 속도를 높이는 보조 절차의 단위가 다르다.
효율 비교의 범위
연구는 기본 MambaByte 구현과 개선한 디코딩 및 부분 단어 모델을 비교했다. 구체적인 속도 개선은 당시 모델과 구현 및 장치 조건에서 해석해야 한다.
관련 문서
Mamba / ByT5 / Byte Latent Transformer / MEGABYTE / 트랜스포머 / 언어 모델