초기 토큰을 남기는 이유
최근 토큰만 유지하는 창 방식은 초기 토큰의 캐시가 사라질 때 성능이 크게 흔들릴 수 있다. 일부 모형에서 초기 토큰은 의미적으로 중요하지 않아도 주의 가중치를 많이 받는다. StreamingLLM은 이런 역할을 하는 초기 캐시를 남겨 최근 창의 처리를 안정화한다.
유지 범위의 독립 예제
초기 두 토큰과 최근 여섯 토큰을 저장하는 가상의 구성을 생각하자. 20번째 토큰까지 처리했다면 1·2번과 15~20번 위치의 캐시를 남길 수 있다. 중간의 3~14번 내용을 나중에 직접 조회할 수 있다는 뜻은 아니다. 이 숫자는 특정 모형의 권장 설정이 아니다.
흐름 길이와 문맥 길이
입력 흐름을 계속 처리할 수 있는 것과 그 흐름의 모든 내용을 동시에 참조할 수 있는 것은 다르다. 캐시에서 제거한 정보가 필요한 질문에는 답변 품질이 떨어질 수 있다. 긴 문서 전체의 세부 내용을 찾는 작업과 최근 흐름을 이어 가는 작업을 구분한다.
적용 시 확인점
초기 보존 수와 최근 창 크기에 따라 메모리 및 품질이 달라진다. 위치 처리도 남아 있는 캐시에 맞게 구현되어야 한다. 별도 미세 조정 없이 적용 가능한 구성이라도 모든 모형과 과제에서 동일한 안정성이나 속도 향상을 보장하지는 않는다.
관련 문서
언어 모형 / 자기 주의 / PagedAttention / 그룹 질의 주의 / H2O 캐시 관리 / 트랜스포머