서로 다른 헤드의 역할
어텐션 헤드는 세밀한 정보를 다시 찾는 역할을 맡고 상태 공간 모델 헤드는 문맥을 효율적으로 요약한다. 두 계산을 병렬로 구성하는 하이브리드 헤드 구조다.
메타 토큰의 사용
프롬프트 앞에 학습 가능한 메타 토큰을 추가한다. 중요한 정보를 담고 어텐션이 불필요한 곳에도 강제로 주의를 배분하는 부담을 줄이려는 장치다.
캐시를 줄이는 구성
계층 사이의 키값 공유와 부분적인 슬라이딩 윈도 어텐션을 함께 사용한다. 모델 구성뿐 아니라 추론 중 유지하는 캐시의 크기도 효율의 비교 대상으로 다뤘다.
통제된 구조 비교
연구는 동일한 설정에서 여러 구조를 비교하며 설계의 효과를 분석했다. 작은 모델의 정확도와 캐시 및 처리량 결과는 그 실험 조건에 따라 해석해야 한다.
관련 문서
Jamba / Mamba / 자기 어텐션 / 트랜스포머 / Titans 장기 기억 모델 / 언어 모델