장면과 부분의 관계
한 이미지에는 여러 객체 영역이 있으며 각 영역을 설명하는 텍스트가 있다. HyCoCLIP은 전체 이미지와 문장 쌍을 넘어 이런 구성 정보를 학습에 사용한다.
구성 정보의 획득
문장에서 명사를 추출하고 공개된 위치 기반 그라운딩 모형으로 객체 영역을 얻는다. 이미지와 영역 및 텍스트 설명을 대조 목적과 함의 목적에 따라 계층적으로 조직하도록 학습한다.
평가한 과제
수백만 이미지와 텍스트 쌍으로 학습한 모형을 제로샷 및 검색 일반화와 계층 관련 성능에서 평가했다. 모형이 의도한 기하가 실제로 작동하는지에 대한 후속 기하 감사 연구와도 연결된다.
관련 문서
MERU / PHyCLIP / 쌍곡 함의 원뿔 / 쌍곡 시각 언어 모형의 기하 감사 / CLIP / 대조 학습