모달리티 차이를 넘어선 설명
영상과 문장이 서로 다른 영역에 놓이는 모달리티 간격은 여러 원인으로 설명되어 왔다. 2024년 연구는 같은 모달리티를 사용해도 두 인코더의 대조 학습에서 간격이 생기는 경우를 분석했다.
기존 요인의 통제
초기화의 원뿔 효과와 부정확한 자료 쌍, 부족한 학습을 고려한 뒤에도 간격이 발생하는지를 살폈다. 이를 바탕으로 현상을 두 인코더 대조 손실에 내재한 대조 간격으로 부르자고 제안했다.
공간을 차지하는 방식
CLIP의 임베딩이 전체 표현 공간의 작은 부분에 몰리는 낮은 균일성을 간격과 연결했다. 간격을 줄이기 위해 단일 모달 대조 학습의 균일성과 정렬 항을 다중 모달 손실에 도입했다.
실험 결과의 범위
추가 손실 항으로 표현이 더 고르게 분포하고 제로샷 영상 분류와 다중 모달 연산 결과가 개선되는 실험을 보였다. 이 설명은 특정 연구의 분석과 설계이며 모든 간격 현상의 단일 원인으로 확정된 것은 아니다.