영상 이해에 발화 더하기
화면에서 일어나는 행동과 들리는 사건을 이해하는 것에 더해 사람이 하는 말도 함께 다룬다. 일반적인 영상 이해 속에서 발화가 차지하는 역할을 강화하는 데 초점을 둔다.
시간 해상도의 조정
MRC Q-Former는 미리 학습한 시청각 인코더와 언어 모델을 연결한다. 발화에는 세밀한 시간 정보가 필요하다는 점과 다른 영상 요소를 효율적으로 처리해야 한다는 요구를 함께 반영한다.
특정 입력의 지배 줄이기
다양성 손실과 짝이 없는 시청각 혼합 학습을 제안해 특정 프레임이나 모달리티에 치우치는 현상을 줄이려 한다. 입력을 함께 제공하는 것과 각 정보를 실제로 활용하도록 학습하는 것은 다른 문제다.
말과 동작의 연결
물건을 다른 선반으로 옮기는 장면에서 화자가 이전 위치를 설명할 수 있다. 현재 보이는 위치와 발화가 가리키는 시점을 함께 확인해야 두 정보를 섞어 잘못된 답을 만들지 않는다.
관련 문서
SALMONN / SALMONN-2 / AVHBench / SVHalluc / CMM 멀티모달 환각 평가 / ALME