좁은 평가 환경을 넘어서
비슷한 영역의 좁은 자료에서만 검색기를 평가하면 다른 분포에서의 성능을 알기 어렵다. BEIR은 이질적인 텍스트 검색 작업과 영역을 모아 이러한 일반화를 살핀다.
서로 다른 검색 구조
초기 논문은 18개 자료에서 열 종류의 검색 시스템을 평가했다. 어휘 기반 검색과 희소·밀집 검색, 후기 상호작용 및 재순위화 구조를 포함한다.
정확도와 계산의 비교
논문은 BM25를 강건한 기준으로 보고했고, 재순위화와 후기 상호작용 계열이 평균적으로 좋은 제로샷 성능을 보이지만 계산 비용도 높다고 분석했다.
일반화의 해석
희소·밀집 검색 모델의 계산 효율과 일반화에는 개선 여지가 있다고 보고했다. 이는 초기 비교의 결과이며 이후의 모든 검색 모델이 같은 순위를 갖는다는 뜻은 아니다.
관련 문서
BM25 / MTEB / MIRACL 검색 평가 / Mr TyDi / 정보 검색 / LAMAR 다국어 재순위화