다른 형태의 같은 물체
의자라는 문장과 의자 사진, 의자의 점군은 데이터 형태가 다르다. 이들을 공통 공간에 연결하면 점군과 범주 텍스트의 유사도를 비교할 수 있다. 형태가 다른 자료의 숫자 배열을 단순히 이어 붙이는 것과는 다르다.
이미 학습된 공간 활용
대규모 영상·텍스트 쌍으로 학습한 모델을 활용하고 점군 표현을 그 공간에 정렬한다. 자동으로 구성한 비교적 적은 삼중쌍을 이용해 연결을 학습한다. 점군 라벨이 적다는 사실을 영상·언어 사전 학습의 정보까지 없다는 의미로 해석하면 안 된다.
후보 범주의 예
점군 특징이 의자와 탁자 텍스트 특징에 각각 유사도 0.8과 0.3을 보인다면 의자를 선택할 수 있다. 하지만 후보에 실제 물체 범주가 없다면 높은 점수를 고르는 것만으로 정답이 되지는 않는다. 설명용 유사도이며 실제 확률로 측정한 값은 아니다.
전이와 제로샷
미세 조정한 분류와 추가 학습 없이 텍스트 후보로 분류하는 작업은 다르다. 어떤 점군 인코더를 쓰는지도 성능에 영향을 준다. 후보 범주와 프롬프트, 학습 자료의 중복 및 점군의 누락 조건을 함께 확인해 공통 표현의 효과를 평가한다.
관련 문서
PointCLIP / Point-BERT / Point-MAE / PointMLP / PointNeXt / CLIP