하나의 인코더와 어휘
초기 연구는 모든 언어에 공유 BPE 어휘와 단일 양방향 LSTM 인코더를 사용했다. 보조 디코더와 함께 병렬 말뭉치에서 학습해 공통 문장 표현을 만들었다.
영어 감독의 전이
영어 표지 자료로 임베딩 위의 분류기를 학습한 뒤 수정 없이 다른 지원 언어로 전이하는 구성을 제시했다. 언어별 분류기를 별도로 학습하는 방식과 다르다.
여러 교차 언어 작업
XNLI의 자연어 추론과 MLDoc의 문서 분류, BUCC의 병렬 말뭉치 수집에서 평가했다. 공유 표현이 서로 다른 작업에서도 언어 경계를 넘을 수 있는지 살폈다.
다국어 문장 검색
초기 논문은 112개 언어의 정렬 문장 시험 자료도 제안했다. 초기 모델의 93개 표현 언어와 시험 자료의 언어 수는 다른 수치이며, 이후 LASER 도구의 확장과도 구분된다.
관련 문서
LaBSE / Sentence-BERT / Mr TyDi / MIRACL 검색 평가 / LSTM / 자연어 처리