특징에서 토큰으로
작은 초안 구조가 목표 모형의 내부 특징을 이어서 예측한다. 예측 특징은 목표 모형의 언어 출력 헤드를 통해 토큰 분포로 바뀐다. 이는 내부 특징을 정답 문장으로 간주하는 것이 아니라 검증할 후보를 저렴하게 만드는 단계다.
토큰 조건의 역할
같은 문맥에서도 다음 토큰으로 여러 선택지가 가능하다. 어느 토큰을 선택했는지에 따라 그 뒤의 특징도 달라질 수 있다. EAGLE은 한 시점 앞선 토큰 정보를 특징 예측에 반영해 이 갈림길을 구분한다. 단순한 특징 벡터의 직선 외삽과는 다르다.
효율 계산의 독립 예제
일반 생성이 토큰마다 10시간 단위를 사용한다고 하자. 초안 4단위와 검증 12단위로 평균 세 토큰을 확정하면 토큰당 비용은 16/3이며 속도비는 30/16=1.875다. 실제 측정값이 아닌 가정이며 수락 길이가 줄면 이 이점도 작아진다.
검증의 의미
최종 수락에는 목표 모형에 맞는 확률 검증과 보정이 필요하다. 초안 특징의 예측 정확도만으로 목표 분포 보존을 보장할 수는 없다. 기반 모형을 바꾸면 초안의 호환성과 수락률을 확인하고, 배치 크기와 입력 길이를 고정해 속도를 비교한다.
관련 문서
추측 디코딩 / Medusa 디코딩 / 언어 모형 / 트랜스포머 / 자기 주의 / 그룹 질의 주의