ANCE 밀집 검색 학습

음성 예의 대표성

학습 때 쉽게 구분되는 비관련 문서만 만나면 실제 검색에서 비슷해 보이는 오답을 거르기 어렵다. ANCE 연구는 학습과 시험의 음성 예 분포 차이를 병목으로 지적했다.

전체 말뭉치의 근사 최근접 이웃 색인으로 음성 예를 구성한다. 현재 표현에서 가까운 후보를 활용해 더 현실적인 비관련 문서를 학습에 제시한다.

색인을 모델 학습과 병행해 갱신한다. 표현이 바뀔 때 음성 예 선택도 따라가도록 연결해 학습 신호의 관련성을 유지하려는 구성이다.

논문은 BERT 기반 쌍둥이 구조 검색 모델에서 ANCE를 평가했다. 학습한 표현의 내적으로 검색하는 결과를 희소 검색과 BERT 재순위화 조합 등과 비교했다.