긴 바이트 시퀀스
책과 코드 및 고해상도 영상이나 오디오 파일은 긴 시퀀스를 이룰 수 있다. MEGABYTE는 백만 바이트를 넘는 입력도 종단 간 미분 가능한 방식으로 모델링하는 구조를 제시했다.
두 규모의 계산
시퀀스를 패치로 나누고 작은 지역 모델이 패치 안을 처리한다. 별도의 전역 모델은 패치 사이의 관계를 다뤄 모든 바이트를 같은 전역 계산에 넣는 부담을 줄인다.
어텐션과 디코딩
연구는 이 구조로 이차보다 느리게 증가하는 자기 어텐션 비용과 디코딩 병렬성을 얻는다고 설명했다. 같은 계산량에서 피드포워드 계층을 더 크게 쓰는 조건도 논의했다.
텍스트 밖의 평가
긴 문맥 언어 모델링 외에 영상의 밀도 추정과 원시 파일 오디오 모델링도 평가했다. 단어 토큰화 없이 자기회귀 시퀀스를 큰 규모로 다루는 가능성을 살폈다.
관련 문서
Byte Latent Transformer / 트랜스포머 / 언어 모델 / LongBench / 기계 학습 / 자연어 처리