위키득계정 ↗
기술

일반화 구면 텍스트 임베딩

일반화 구면 텍스트 임베딩기술
연구 공개
2022년
표현 단위
단어와 문단의 행렬
제약
단위 프로베니우스 노름
학습 방식
다양체 최적화
일반화 구면 텍스트 임베딩은 단어와 문단을 단위 프로베니우스 노름의 행렬로 표현하는 비지도 학습 방법이다. 행렬 구조를 활용하는 유사도와 구면 다양체 최적화를 결합한다.

행렬로 나타내는 표현

단어와 문단을 각각 열 차원을 선택할 수 있는 행렬로 공동 인코딩한다. 벡터 하나로 제한하지 않고 행렬 구조를 활용해 텍스트를 더 유연하게 표현하려는 연구다.

유사도와 구면 최적화

행렬 표현의 구조를 사용하는 새로운 유사도 척도를 도입했다. 같은 행렬을 단위 노름 벡터로 다시 배열할 수 있다는 성질로 학습을 구면 다양체 위의 최적화 문제로 바꾼다.

표현의 평가

다양체 최적화로 행렬 임베딩을 학습하고 문서 분류와 문서 군집화 및 의미적 텍스트 유사도에서 평가했다. 표현의 모양과 유사도 계산을 함께 설계하는 접근이다.

관련 문서

구면 텍스트 임베딩 / 프로베니우스 노름 / 다양체 / 코사인 유사도 / 단어 임베딩 / 문서 임베딩