문장 표현의 전이
문장 인코더의 목표는 한 작업의 점수만 계산하는 것이 아니라 여러 과제에서 활용할 벡터를 만드는 데 있다. USE는 다른 자연어 처리 작업으로의 전이를 중심에 둔다.
두 변형의 균형
초기 연구는 정확도와 필요한 계산 자원의 관계가 다른 두 인코딩 모델을 제안했다. 모델 복잡도와 자원 사용량, 전이 작업의 학습 자료 양 및 결과를 함께 분석했다.
단어 수준과의 비교
사전 학습 단어 임베딩을 활용하는 전이와 전이를 쓰지 않는 기준 모델을 비교했다. 논문은 문장 임베딩 전이가 단어 수준 전이보다 좋은 경향을 보고했다.
적은 감독 자료의 평가
전이 작업의 감독 자료가 적을 때도 문장 표현을 활용하는 성능을 살폈다. 편향을 탐지하는 단어 임베딩 연관성 시험도 수행했으며, 한 시험의 결과만으로 모든 편향이 없음을 뜻하지는 않는다.
관련 문서
InferSent / Sentence-BERT / LaBSE / MTEB / 전이 학습 / 자연어 처리