다중 벡터의 계산 부담
여러 벡터로 문서를 표현하면 세밀한 관련성을 다룰 수 있지만 단일 벡터보다 계산과 색인 저장 공간이 커질 수 있다. CITADEL은 이를 토큰 라우팅의 관점에서 다룬다.
동적인 어휘 키
서로 다른 토큰 벡터를 예측한 어휘 키로 보내도록 학습한다. 토큰의 벡터 표현과 어떤 비교 경로를 사용할지를 함께 연결하는 구성이다.
조건부 토큰 상호작용
질의 토큰 벡터는 같은 키로 라우팅된 문서 토큰 벡터하고만 상호작용한다. 가능한 모든 토큰 조합을 계산하는 대신 선택된 경로에서 유사도를 처리한다.
영역 안팎의 평가
논문은 MS MARCO의 영역 내 평가와 BEIR의 영역 밖 평가에서 ColBERT-v2 등과 비교했다. 높은 검색 효과를 유지하면서 다중 벡터의 비용을 줄이는 데 초점을 맞췄다.