여러 위치의 후보
추가 헤드들은 이후 여러 위치의 토큰 후보를 제안한다. 이 후보들을 조합한 트리를 기반 모형으로 검사해 이어 붙일 접두어를 선택한다. 서로 다른 미래 위치의 예측을 검증 없이 곧바로 확정하는 방식은 아니다.
후보 트리의 독립 예제
첫 위치에 후보 두 개, 다음 위치에 후보 세 개를 둔다면 조합 경로는 여섯 개다. 트리에서는 같은 첫 후보를 공유하는 경로가 접두어를 함께 표현할 수 있다. 경로 수와 저장할 노드 수는 같지 않으며 모든 경로를 독립 문장처럼 반복 계산할 필요도 없다.
학습 방식의 차이
Medusa-1은 기반 모형을 고정하고 추가 헤드를 학습한다. Medusa-2는 기반 모형과 헤드를 함께 학습하는 구성을 사용한다. 같은 이름의 계열이라도 학습 대상과 적용 조건이 다르므로 구현과 체크포인트의 조합을 확인해야 한다.
검증과 품질
후보를 어떤 기준으로 수락하는지에 따라 출력의 성질이 달라진다. 모든 Medusa 설정이 원래 표본 분포를 정확히 보존한다고 일반화할 수는 없다. 속도 비교에서는 후보 검증 비용과 수락 길이뿐 아니라 문장 품질과 표본 추출 설정도 함께 맞춘다.
관련 문서
추측 디코딩 / 언어 모형 / 트랜스포머 / 자기 주의 / FlashAttention / PagedAttention