입력 길이와 감독 단위
길이 제한을 늘리는 것과 학습 자료가 어떤 단위로 설명되는지는 다른 설계 요소다. 연구는 단일 캡션부터 여러 문장의 문단까지 감독 신호를 달리해 긴 설명 검색을 비교했다.
설명 자료의 구성
Qwen2-VL과 Llama 3.2 Vision을 이용한 합성 과정으로 다양한 캡션과 어려운 음성 예시, 품질 점수가 붙은 문단을 생성했다. CC3M 영상 50만 개를 대상으로 텍스트 조건을 구성했다.
비교 조건의 고정
영상 인코더는 고정하고 BLIP 텍스트 인코더만 열 가지 구성으로 미세 조정했다. 이 조건은 영상 표현의 변화보다 텍스트 감독 단위가 미치는 영향을 분리해서 살피기 위한 것이다.
관찰된 상충 관계
캡션 다양성 증가는 짧은 설명 검색에 도움이 되지만 이득은 줄어드는 양상을 보였다. 문단 감독은 긴 설명 평가에서 이점을 보였고, 어려운 음성 예시는 해당 텍스트 전용 조정 조건에서 오히려 해로웠다고 보고했다.