여러 과제의 공동 학습
시청각 장면 이해에는 사건의 시간 구간, 물체 위치, 시공간 추론, 픽셀 영역 등 서로 다른 출력이 있다. Crab은 이 과제들을 통합하되 자료의 이질성과 과제 관계 때문에 단순 공동 훈련에서 간섭이 생길 수 있다는 문제를 다룬다.
자료에서 협력 관계 드러내기
기존 자료를 정리하고 명시적 추론 과정을 담은 AV-UIE 지시 조정 자료를 구성한다. 단어 수준 레이블만 있는 경우보다 과제 사이 협력 관계를 드러내려는 방향이다. 자료의 표현 방식과 모델의 출력 기능을 구분해서 볼 필요가 있다.
상호작용 인식 LoRA
여러 LoRA 헤드를 가진 상호작용 인식 구조로 시청각 자료 상호작용의 다른 측면을 학습한다. 자료와 모델 양쪽에서 협력을 통합하고 여러 과제에서 통합 모델 및 특화 모델들과 비교한다.
서로 다른 출력의 예
어느 장치가 울렸는지 답하는 과제와 그 장치의 영역을 표시하는 과제는 관련 정보를 공유할 수 있다. 그러나 정답 단어를 맞혔다고 픽셀 경계까지 정확해지는 것은 아니다. 공동 학습의 이득은 과제별로 확인해야 한다.
관련 문서
MUSIC-AVQA / AVE 시청각 사건 위치 추정 / LLP 시청각 영상 파싱 / AVSBench / Ref-AVS / LAVISH