고정 특징의 한계
시각 모델과 언어 모델을 별도로 학습해 특징을 고정하면 목표 과제와 맞지 않을 수 있다. ClipBERT는 특징 추출기를 포함해 함께 학습하는 방향을 택한다.
소수 클립의 샘플링
각 훈련 단계에서 영상 전체 대신 한 개 또는 소수의 짧은 클립을 성기게 샘플링한다. 조밀한 전체 영상 특징의 계산 부담을 줄여 종단 간 학습을 가능하게 하려는 전략이다.
영상 길이와 영역
짧은 GIF부터 긴 사람 활동 영상까지 서로 다른 길이와 영역에서 평가했다. 적은 프레임이 항상 충분하다는 일반 법칙이 아니라 해당 구조와 과제의 실험 결과다.
후속 과제의 평가
여섯 데이터셋의 텍스트 영상 검색과 영상 질의응답에서 평가했다. 프레임 샘플링 수와 특징을 함께 조정하는 효과를 구분해 비교해야 한다.
관련 문서
SwinBERT / HERO 영상 언어 모델 / HowTo100M / EgoVLP / TimeChat / 미세 조정