고정 어휘를 사용하지 않기
고정된 토큰 어휘에 의존하는 대신 원시 바이트로 모델을 학습한다. 바이트를 그대로 모두 같은 크기의 계산으로 처리하기보다는 패치로 묶어 사용한다.
불확실성에 따른 경계
다음 바이트의 엔트로피를 기준으로 패치를 나눈다. 예측하기 쉬운 구간은 긴 패치로 묶고 복잡한 구간에는 더 많은 계산을 배분하는 방향이다.
계산량을 통제한 비교
연구는 부동소수점 연산 수를 통제하며 모델과 패치의 크기를 함께 늘리는 조건을 분석했다. 최대 80억 매개변수와 4조 학습 바이트의 실험을 보고했다.
효율과 일반화
논문은 학습 및 추론 효율과 추론 과제 및 드문 패턴으로의 일반화를 비교했다. 바이트 수와 토큰 수는 서로 다른 단위이므로 학습 규모 수치를 그대로 비교해서는 안 된다.