공통 공간과 분포의 차이
영상과 텍스트를 같은 차원의 벡터로 만들면 유사도 비교가 가능하다. 그러나 각 모달리티의 벡터가 공간에서 주로 차지하는 영역은 다를 수 있으며, 이 분리가 모달리티 간격의 관심 대상이다.
초기화에서의 분리
2022년 분석은 신경망의 출력 표현이 좁은 원뿔 모양의 영역에 제한되는 효과를 다뤘다. 두 인코더가 서로 다른 영역을 차지하는 현상은 학습 이전의 초기화 상태에서도 관찰됐다.
대조 학습과 온도
학습 과정에서도 두 모달리티 사이의 거리가 유지될 수 있다. 해당 연구는 초기화와 대조 학습 최적화가 함께 작용하며, 손실의 온도 매개변수도 간격에 영향을 준다고 분석했다.
간격과 과제 성능
간격을 조절했을 때 제로샷 분류와 공정성 평가가 달라지는 실험을 제시했다. 표현 사이의 평균 거리는 정확도와 같은 지표가 아니므로 간격만으로 모든 과제의 성능을 판단할 수 없다.
관련 문서
CLIP / 임베딩 / 대조 학습 / 다중 모달 학습 / 제로샷 학습 / 측지선 다중 모달 믹스업