어려운 학습 조건
질문과 단락을 따로 인코딩하는 구조는 학습과 추론의 차이, 표지가 없는 관련 문서, 제한된 학습 자료 때문에 어려움을 겪을 수 있다. RocketQA는 이러한 학습 조건을 다룬다.
배치 사이의 음성 예
cross-batch negatives로 다른 배치의 비관련 예도 학습에 활용한다. 한 배치 안에서만 보이는 제한적인 비교 대상을 넓히는 전략이다.
어려운 후보와 잡음
어려운 음성 예를 정제하고 자료 증강을 결합한다. 실제로 관련 있지만 표지가 없는 문서를 잘못된 음성으로 다루는 문제도 학습의 고려 대상이다.
검색과 질의응답의 평가
MS MARCO와 Natural Questions에서 성능을 비교하고 세 전략의 효과도 각각 조사했다. 학습한 검색기를 전체 질의응답에 연결한 결과도 평가했다.
관련 문서
DPR / ANCE 밀집 검색 학습 / Contriever / ColBERT / 대조 학습 / 정보 검색