전역 대조 목적의 한계
영상 전체와 설명 전체의 대응만 학습하면 눈에 띄는 전경 물체가 다른 정보를 가릴 수 있다. COSMOS는 세부 영역과 문맥을 함께 반영하는 표현을 얻기 위해 다중 모달 자기 지도 학습을 구성한다.
양쪽 모달리티의 보기 생성
영상을 잘라 전체 및 지역 보기를 만들고 텍스트 자르기 전략으로 설명도 서로 다른 범위로 구성한다. 두 모달리티에 걸친 증강은 자기 증류에서 비교할 다양한 입력을 제공한다.
교차 어텐션과 증류 손실
교차 어텐션 모듈로 영상과 텍스트 사이의 정보를 연결한다. 교차 모달 자기 증류 손실로 이 표현을 최적화해 영상 인코더 한쪽의 개선에만 머물지 않도록 한다.
후속 과제의 평가
제로샷 검색과 분류, 의미 분할에서 기존 방법과 비교하고 시각 지각 및 문맥 이해 과제도 평가했다. 후속 과제의 추가 학습 여부와 사전 학습 자료 규모는 성능을 해석하는 서로 다른 조건이다.
관련 문서
CLIP / SLIP / FLAIR 세부 영상 표현 / DreamLIP / 자기 증류 / 교차 어텐션