학습 자원의 문제
계속 갱신하는 색인에서 음성 예를 찾거나 매우 큰 배치를 사용하면 검색기 학습 비용이 커진다. TAS-Balanced는 더 많은 계산 대신 배치 구성 방식을 바꾸는 접근이다.
주제에 따른 배치
학습 전에 질의를 한 번 군집화하고 각 배치에서 군집 안의 질의를 표본화한다. 주제와 관련된 비교를 배치의 구성에 반영한다.
균형과 이중 교사
균형 잡힌 마진 표본화와 함께 쌍별 교사 및 배치 내 음성 교사를 결합한다. 논문은 이 감독으로 경량 여섯 층의 밀집 검색 모델을 학습했다.
검색기의 평가
두 TREC Deep Learning 질의 집합에서 검색 성능과 계산 자원을 비교했다. 학습과 색인, 질의 처리 전반의 효율을 살피면서 초기 검색이 후속 재순위화에 주는 영향도 다뤘다.
관련 문서
DPR / RocketQA / ANCE 밀집 검색 학습 / 지식 증류 / 대조 학습 / 정보 검색