단어에서 문장 표현으로
단어 임베딩을 기본 특징으로 쓰는 방식과 달리 문장 전체를 표현하는 벡터를 학습한다. InferSent는 문장 단위의 의미 관계를 감독하는 자연어 추론 자료를 활용한다.
추론의 감독 신호
Stanford Natural Language Inference 자료에서 보편적인 문장 표현을 학습하는 접근을 제시했다. 학습 작업의 정답을 다른 과제에도 유용한 특징을 만드는 신호로 사용한다.
여러 작업으로의 전이
논문은 다양한 전이 작업에서 SkipThought 같은 비지도 문장 표현과 비교했다. 자연어 추론이 다른 자연어 처리 작업의 특징 학습에 적합할 수 있음을 보여 주려는 연구다.
인코더의 활용
공개된 영어 문장 인코더로 문장의 의미 표현을 계산할 수 있다. 문장 임베딩을 추출하는 역할과 그 위에서 특정 작업의 출력을 예측하는 역할은 구분된다.
관련 문서
Sentence-BERT / SimCSE / Universal Sentence Encoder / 전이 학습 / 자연어 처리 / 신경망