이미지와 언어의 계층
시각 개념과 언어 개념 사이에는 추상성의 수준이 다른 관계가 있다. MERU는 이미지와 텍스트 자료의 이런 계층을 표현 학습에서 명시적으로 다루려는 모형이다.
쌍곡 표현 공간
트리형 자료를 임베딩하는 데 적합한 쌍곡 기하를 이미지와 텍스트의 대조 학습에 적용한다. 두 종류 자료를 함께 표현하면서 계층적인 구조를 담는 것이 연구의 목표다.
멀티모달 과제 평가
원 연구는 학습된 공간의 구조와 해석 가능성을 조사하고 이미지 분류 및 이미지와 텍스트 사이의 검색을 평가했다. CLIP과 표준 멀티모달 과제의 성능을 비교했다.
관련 문서
쌍곡 이미지 임베딩 / 쌍곡 비전 트랜스포머 / CLIP / 순서 임베딩 / 쌍곡 함의 원뿔 / 대조 학습