이미지와 텍스트의 정렬
이미지 인코더와 텍스트 인코더는 각각의 입력을 벡터로 만든다. 대응 쌍의 유사도를 다른 조합보다 높이는 대조 학습을 수행한다. 두 입력을 매번 하나의 교차주의 망에 함께 넣어야 하는 구조와 달리 각각의 벡터를 따로 계산해 둘 수 있다.
서로 다른 종류의 검색
텍스트 질의를 벡터로 바꾸고 저장된 이미지 벡터와 비교하면 텍스트에서 이미지를 찾는 검색이 된다. 반대로 이미지로 텍스트 후보를 찾을 수도 있다. 질의 벡터 (1,0)과 후보 (0.8,0.6),(0,1)이 모두 단위 길이라면 내적 점수는 0.8과 0이므로 첫 후보가 더 가깝다.
규모와 잡음
원 연구는 정제 비용을 줄인 큰 이미지 대체 텍스트 자료로 표현을 학습하는 접근을 조사했다. 대체 텍스트는 이미지의 모든 대상을 정확히 설명하지 않을 수 있다. 자료를 크게 모았다는 사실이 모든 잡음과 편향을 없앤다는 뜻은 아니며 평가 자료와 목적에 따라 영향을 확인해야 한다.
제로샷과 후속 학습
학습한 공간에서는 범주의 텍스트 설명을 이미지와 비교해 제로샷 분류에 사용할 수 있다. 이미지 인코더만 후속 시각 과제에 전이하는 방식도 가능하다. 검색 후보, 설명 문구, 분포 변화가 결과를 바꾸므로 동일한 모형도 평가 설정에 따라 다른 성능을 보일 수 있다.