문화유산의 세부 의미
비단의 장식이나 벽화의 문양은 일반 물체 이름보다 세밀한 시각 특징과 전문 용어를 요구한다. CulTi는 두 종류의 전문 문서 계열에서 영상과 설명을 추출해 이런 교차 모달 검색을 다룬다.
전체 설명과 지역 문양
긴 전문 설명이 영상 전체와 연결되더라도 특정 문양이나 작은 영역과의 대응은 약할 수 있다. 자료는 영상에서 글을 찾는 검색과 글에서 영상을 찾는 검색의 지역 정렬 문제를 드러낸다.
추론 단계의 가중 유사도
LACLIP은 전체 텍스트 설명과 지역 영상 영역 사이의 가중 유사도를 추론 중 계산한다. 이를 통해 세부 의미의 연결을 보완하며, 언어 재작성 증강인 LaCLIP과는 다른 방법이다.
학습 조건과 평가 범위
지역 정렬 자체는 추가 학습 없이 수행하지만 기초 모델은 미세 조정한 Chinese-CLIP이다. CulTi에서 검색 성능을 비교한 결과이므로 모든 문화권의 유산이나 전문 문서로 일반화된 성능을 뜻하지는 않는다.
관련 문서
LaCLIP 언어 증강 / CLIP / FLAIR 세부 영상 표현 / WenLan과 BriVL / 영상 검색 / 다중 모달 학습