다국어 문장 표현
같은 의미를 다른 언어로 표현한 문장도 비교할 수 있는 공통 표현을 목표로 한다. 단일 언어의 문장 유사도 학습과 교차 언어 표현 학습의 기법을 결합했다.
결합한 학습 목적
마스크 언어 모델링과 번역 언어 모델링, 이중 인코더 번역 순위 학습 및 가산 마진 소프트맥스를 조사했다. 여러 목적의 조합으로 다국어 문장 표현을 구성한다.
사전 학습과 병렬 자료
다국어 언어 모델의 사전 학습을 도입해 좋은 결과에 필요한 병렬 자료를 줄이는 효과를 평가했다. 논문은 Tatoeba의 112개 언어에서 문장 쌍 검색을 비교했다.
병렬 문장 수집의 활용
최선 모델로 CommonCrawl에서 찾은 병렬 자료를 영어·중국어와 영어·독일어 번역 모델 학습에 사용했다. 문장 임베딩이 검색을 넘어 병렬 자료 구성에도 쓰일 수 있음을 보인 사례다.
관련 문서
LASER 문장 표현 / Sentence-BERT / MIRACL 검색 평가 / Mr TyDi / BERT / 정보 검색