설명이 부족한 긴 영상
긴 동영상에 붙은 설명이 드물면 많은 구간이 학습 신호를 얻지 못할 수 있다. LaViLa는 자동 서술로 더 조밀한 구간을 다루고 영상과 문장의 시간 정합을 보강하려 한다.
시각 입력을 보는 서술기
사전 학습 언어 모델이 시각 입력을 조건으로 받도록 바꾸고 동영상 서술기로 미세 조정한다. 생성된 설명은 기존 서술과 함께 영상·언어 학습에 쓰인다.
추가 서술의 활용
설명의 다양성을 늘리고 추가 영상·텍스트 쌍으로 공통 임베딩을 학습한다. 관련 연구는 영점 학습 전이와 후속 미세 조정 조건에서 여러 과제를 평가했다.
생성 설명의 해석
자동 서술은 사람이 확인한 관측 사실과 동일하지 않다. 영상에 없는 내용이 들어갈 수 있으므로 표현 학습의 개선과 서술의 사실 정확도를 구분해 평가해야 한다.
관련 문서
EgoVLP / EgoVLPv2 / Ego4D / EPIC-KITCHENS-100 / 대조 학습 / Voltron 로봇 표현 학습