사건은 시간 속에 놓인다
한 장면에 보이는 사물을 알아보는 것과 사건의 전후 맥락을 이해하는 것은 다르다. MERLOT은 수백만 개의 전사문 포함 영상으로 상황의 시간적 문맥을 학습하려는 접근이다.
공간과 시간의 학습 목표
프레임 수준의 공간적 목표와 영상 수준의 시간적 목표를 함께 사용한다. 이미지와 해당 시점의 단어를 연결하면서 영상 전체에서 일어나는 내용을 맥락화하도록 학습한다.
무주석 사전 학습과 후속 평가
사전 학습을 위한 별도 정답 라벨 없이 영상과 전사문을 활용한다. 이후 영상 질문 응답 과제로 미세 조정한 평가는 사전 학습의 무주석 조건과 별개의 단계다.
정지 이미지로의 전이
정지 이미지의 시각 상식 추론에서도 표현을 평가했다. 실험은 영상 학습과 자료 규모, 다양한 학습 목표의 기여를 비교하며, 상식 벤치마크의 성적을 모든 실제 상황에 대한 이해로 확대할 수는 없다.
관련 문서
VideoBERT / UniVL 영상 언어 모델 / HERO 영상 언어 모델 / ALPRO / VideoCLIP / 자기지도 학습