텍스트로 얻는 문맥
관측 영상만으로 가능한 미래 행동이 여러 개일 수 있다. M-CAT은 행동과 물체의 설명이 환경 및 내용에 관한 추가 단서를 줄 수 있는지 살펴본다.
미래 설명과 정렬
첫 단계에서 영상 클립을 미래 행동의 풍부한 설명과 정렬하도록 학습한다. 이후 미래 행동을 예측하는 과제로 모델을 미세 조정한다.
특징 융합에서의 설명
모달리티 특징을 융합할 때는 검출된 물체와 행동의 텍스트 설명도 사용한다. 사전 학습의 미래 설명과 융합 단계의 관측 설명은 역할이 다르다.
텍스트 정보의 영향
EPIC-Kitchens 자료에서 평가하고 텍스트의 물체 정보와 행동 정보를 나누어 분석했다. 설명에 포함된 정보와 생성 과정이 다르면 입력 조건도 달라지므로 비교 시 함께 확인해야 한다.
관련 문서
AVT 행동 예측 / Bridge-Prompt / RU-LSTM / LaViLa / Norton 영상 언어 대응 학습 / 대조 학습