초기 검색의 역할
검색 파이프라인의 첫 단계는 많은 문서에서 관련 후보를 추리는 일이다. SPLADE는 이 단계의 표현을 신경망으로 학습하면서 희소 어휘 검색의 장점을 활용하려 한다.
희소 어휘 표현
질의와 문서에 대해 희소한 표현을 학습한다. 용어의 정확한 매칭과 역색인의 효율처럼 단어 집합 기반 검색이 갖는 성질을 이어받는 방향이다.
가중치와 정규화
명시적인 희소성 정규화와 용어 가중치의 로그 포화 효과를 사용한다. 한 단계에서 전체 모델을 학습해 높은 희소성을 가진 표현을 구성한다.
효과와 효율의 균형
논문은 희소성 정규화의 기여도를 조절해 검색 성능과 효율의 관계를 탐구했다. 더 희소한 표현이 항상 더 정확하다는 뜻은 아니며 비용과 결과를 함께 비교한다.
관련 문서
BM25 / BEIR / ColBERT / Contriever / 정보 검색 / 검색 증강 생성