서로 다른 계층의 결합
트랜스포머 계층과 Mamba 계층의 블록을 교차 배치한다. 어텐션 계열과 상태 공간 계열이 가진 특성을 하나의 모델에서 활용하려는 설계다.
전문가 혼합의 추가
일부 계층에는 전문가 혼합을 넣어 모델 용량을 늘린다. 전체 매개변수 수와 한 번의 계산에서 실제 사용하는 매개변수를 구분해 자원을 관리하는 접근이다.
구성 선택의 영향
연구는 두 종류의 계층을 어떻게 결합하고 전문가를 어떻게 섞는지 비교했다. 같은 하이브리드라는 이름 아래에서도 배치와 비율에 따른 설계 선택이 중요하다.
메모리와 긴 문맥
논문은 일반적인 트랜스포머와 처리량 및 메모리 사용을 비교하고 긴 문맥 평가를 수행했다. 특정 구성의 장치 적합성이나 최대 길이를 모든 배포 조건의 성능으로 보아서는 안 된다.
관련 문서
Hymba / Mamba / 트랜스포머 / Titans 장기 기억 모델 / xLSTM / 언어 모델