쌍별로 계산하는 목적
기존 소프트맥스 대조 학습과 달리 시그모이드 손실은 영상 텍스트 쌍에 직접 작용한다. 정규화를 위해 전체 쌍의 유사도를 한꺼번에 볼 필요가 없는 구성이다.
배치 규모의 실험
연구는 작은 배치에서의 성능과 큰 배치로의 확장을 함께 살펴봤다. 최대 백만 규모까지 시험했지만 배치를 키울수록 이득이 계속 같은 비율로 늘어나지는 않았다고 보고했다.
예시 수와 쌍의 비율
손실과 배치 크기를 분리해 표본 수와 쌍의 수, 양성과 음성 쌍 비율의 영향을 분석했다. 단순히 배치를 크게 만드는 것 외에 학습 신호의 구성도 중요한 변수다.
LiT와의 결합
영상 모델을 고정하는 LiT와 시그모이드 손실을 결합한 SigLiT도 제시했다. 손실 함수의 변경과 인코더를 고정하는 학습 전략은 서로 다른 설계 요소다.
관련 문서
LiT 잠금 영상 조정 / CLIP / 시그모이드 함수 / 대조 학습 / 소프트맥스 / 배치 크기