두 인코더의 대응 학습
같은 관측 쌍에서 나온 이미지와 문장을 양성으로 두고 배치의 다른 조합과 구별하도록 학습한다. 이미지와 텍스트는 각자의 인코더를 거쳐 비교 가능한 벡터가 된다. 개별 단어를 순서대로 생성하는 문제와 달리 쌍 사이의 대응을 평가한다.
배치의 비교 행렬
이미지와 텍스트가 세 쌍이면 3×3 유사도 행렬을 만들 수 있다. 행은 이미지, 열은 텍스트이고 원래 짝을 같은 순서에 놓으면 대각선의 세 조합이 양성이다. 나머지 여섯 조합은 학습에서 비교 대상으로 사용되지만 실제 의미가 항상 다르다는 보장은 없다.
텍스트로 범주 지정하기
제로샷 분류에서는 후보 범주마다 설명 문장을 만들고 텍스트 벡터를 계산한다. 이미지 벡터와 더 잘 맞는 후보를 선택한다. 예를 들어 자전거와 버스에 대한 설명을 비교하면 후보 중 어느 쪽이 이미지와 더 가까운지를 얻으며 목록에 없는 모든 사물을 자동으로 인식했다는 뜻은 아니다.
표현과 문구의 영향
후보 문장의 표현, 이미지 분포, 학습 자료의 편향이 결과에 영향을 줄 수 있다. 제로샷은 대상 평가 과제의 레이블로 별도 학습하지 않았다는 설정을 뜻하며 모든 개념을 정확히 이해하거나 학습 자료와 겹침이 없음을 보장하지 않는다. 검색과 분류의 조건에 맞춰 성능을 확인한다.