쌍별 신경망 계산의 부담
질의와 각 문서 쌍을 큰 신경망에 함께 넣으면 후보가 늘 때 계산 비용도 커진다. ColBERT는 질의와 문서의 인코딩을 분리해 이러한 부담을 줄이려 한다.
늦추되 남기는 상호작용
각각 BERT로 표현을 계산한 다음 저비용 상호작용 단계에서 세밀한 유사도를 모델링한다. 상호작용을 인코딩 뒤로 미루면서도 세부 비교는 유지하는 접근이다.
문서 표현의 사전 계산
질의와 무관한 문서 표현을 오프라인에서 미리 계산할 수 있다. 이 특성을 이용해 질의 처리 시 반복되는 신경망 계산을 줄인다.
재순위화와 직접 검색
기존 검색 결과의 재순위화뿐 아니라 벡터 유사도 색인으로 큰 문서 집합에서 직접 검색하는 구성도 제시했다. 논문은 두 단락 검색 자료에서 성능과 계산 비용을 비교했다.
관련 문서
BERT / BEIR / MTEB / LAMAR 다국어 재순위화 / 정보 검색 / 검색 증강 생성