시간 혼합의 구성
키와 값, receptance라는 수용 게이트를 사용한다. 시간 혼합은 과거의 값을 키 및 상대 시간에 따른 가중치로 누적한다. 토큰마다 모든 과거 질의·키 쌍의 내적을 만드는 표준 자기 주의와 구분된다.
출력의 게이팅
누적한 특징은 수용 게이트를 통해 조절된다. 게이트는 어떤 특징을 출력에 얼마나 전달할지에 영향을 준다. 시간 혼합과 채널 혼합을 잔차 블록으로 쌓아 시퀀스 표현을 만든다. 여기서는 원래 RWKV 구조를 설명하며 후속 변형과 세부 식을 혼동하지 않아야 한다.
가중 평균의 독립 예제
두 값 2와 8의 유효 가중치가 각각 1과 3이면 정규화한 평균은 (2+24)/4=6.5다. 이어지는 스칼라 게이트가 0.4라면 2.6이 전달된다. 실제 감쇠와 현재 토큰의 별도 가중치 등은 생략한 설명용 계산이다.
고정 상태의 의미
모형 크기를 고정하면 순환 추론에서 과거 길이에 비례해 커지는 키·값 목록 대신 요약 상태를 유지할 수 있다. 한 토큰의 상태 비용이 과거 길이와 무관하다는 것과 모든 길이의 정보를 정확히 기억한다는 것은 다르다. 학습과 추론 비용도 별도로 확인한다.
관련 문서
RetNet / Mamba 신경망 / S4 상태 공간 모형 / 순환 신경망 / 자기 주의 / 언어 모형