선택적으로 남기는 상태
모든 과거 토큰을 저장하는 대신 주의 계산에서 기여가 큰 토큰과 최근 토큰의 균형을 유지한다. 이때 중요한 토큰은 문장에서 사람에게 중요해 보이는 단어와 반드시 일치하지 않는다. 실제 주의 통계에 기반한 캐시 정책이라는 점이 핵심이다.
예산 배분의 독립 예제
캐시 여섯 칸 가운데 최근 두 토큰을 우선 남기고 나머지 네 칸을 과거 기여도 순으로 선택한다고 가정하자. 과거 점수가 0.8, 0.1, 0.7, 0.3, 0.6이면 가장 작은 0.1을 제외할 수 있다. 원리를 설명하는 가상 배분이며 실제 구현의 고정 비율은 아니다.
제거 후의 계산
키와 값을 버리면 이후 주의 계산에서 그 토큰을 직접 참조할 수 없게 된다. 따라서 전체 캐시를 사용한 결과와 수치적으로 동일하다고 보장하는 방식은 아니다. 절약한 메모리와 응답 품질 사이의 관계를 과제별로 평가해야 한다.
다른 캐시 최적화와의 차이
캐시의 물리 배치를 관리하는 기법은 무엇을 저장할지 선택하는 교체 정책과 역할이 다르다. 키·값 헤드 공유 역시 저장 구조를 바꾸는 별개의 접근이다. 여러 기법을 결합할 때는 각 절감률을 그대로 곱하지 말고 실제 메모리 사용량과 지연시간을 측정한다.
관련 문서
StreamingLLM / PagedAttention / 그룹 질의 주의 / 자기 주의 / 언어 모형 / 트랜스포머