위키득계정 ↗
기술

ConvDR

ConvDR기술
연구 공개
2021년
발표 학회
SIGIR 2021
검색 점수
임베딩 내적
주요 학습 틀
교사와 학생 모델
ConvDR은 여러 턴의 대화 문맥을 질의 임베딩으로 표현하는 밀집 검색 모델이다. 독립형 검색 모델을 교사로 삼아 적은 학습 예시에서도 대화형 질의 인코더를 학습하는 방법을 제시했다.

문맥을 임베딩에 담기

대화형 검색에서는 현재 질문이 앞선 발화에 의존할 수 있다. ConvDR은 여러 턴 질의를 문맥화된 임베딩으로 만들고 문서 임베딩과의 내적으로 검색한다.

교사 검색기의 지식

일반적인 독립 질의를 다루는 밀집 검색기를 교사로 사용한다. 교사의 문서 인코딩을 이어받고, 학생 질의 인코더는 문맥을 해소해 재작성한 질의에서 나온 교사 임베딩을 모방한다.

적은 예시의 학습

밀집 검색은 대화 자료의 감독 신호가 부족할 때 적응이 어려울 수 있다. 연구는 교사와 학생의 틀을 이용해 소수 예시 설정과 충분한 감독 자료가 있는 설정을 모두 평가했다.

필요한 문맥의 선택

TREC CAsT와 OR-QuAC 실험에서 대화 문맥 활용을 분석했다. 이전 턴의 모든 내용을 무조건 더하기보다 유용한 문맥을 포착하고 무관한 내용을 무시하는 능력이 중요하게 나타났다.

관련 문서

CONQRR / QReCC / TREC CAsT 2019 / DPR / 검색 증강 생성 / 언어 모델