학습과 사용 사이의 간격
텍스트 표현을 유클리드 공간에서 학습하더라도 단어 유사도나 문서 군집화에서는 방향 유사도를 사용할 수 있다. 이 연구는 학습 단계와 사용 단계의 이런 차이에 주목한다.
구면 생성 모형
구면 공간을 사용하는 생성 모형에서 정답 표지 없이 단어와 문단 임베딩을 공동 학습한다. 구면 위의 표현을 직접 학습하도록 리만 최적화 기반 알고리즘을 구성하고 수렴 성질을 제시했다.
텍스트 과제의 평가
원 연구는 단어 유사도와 문서 군집화를 포함한 텍스트 임베딩 과제에서 평가했다. 표현을 비교할 때 사용하는 방향 정보를 학습의 기하에도 반영하는 방식이다.
관련 문서
일반화 구면 텍스트 임베딩 / 단어 임베딩 / 문서 임베딩 / 코사인 유사도 / 군집화 / 표현 학습