문장 쌍마다 계산하는 문제
두 문장을 매번 함께 신경망에 넣으면 많은 문장 중 가장 비슷한 쌍을 찾는 계산이 커진다. Sentence-BERT는 비교할 문장 자체의 임베딩을 만들어 이 문제를 다룬다.
쌍둥이와 삼중항 구조
사전 학습 BERT를 쌍둥이 및 삼중항 네트워크 구조로 수정한다. 문장 단위의 의미 있는 벡터가 만들어지도록 학습하는 접근이다.
벡터 사이의 비교
출력한 문장 임베딩을 코사인 유사도로 비교한다. 각 후보 쌍마다 큰 언어 모델을 다시 실행하는 방식과 달리, 이미 계산한 문장 표현을 검색과 군집화에 재사용할 수 있다.
유사도와 전이 평가
논문은 SBERT와 RoBERTa 기반 변형을 표준 문장 의미 유사도 및 전이 학습 작업에서 평가했다. 특정 문장 쌍 점수뿐 아니라 임베딩의 다른 활용 가능성도 살폈다.
관련 문서
BERT / SimCSE / MTEB / E5 텍스트 임베딩 / 코사인 유사도 / 정보 검색