단일 모달도 함께 다루기
영상과 텍스트의 대응만 학습하는 것과 두 정보를 합쳐 추론하는 것은 요구가 다르다. FLAVA는 이 둘뿐 아니라 영상만 또는 언어만 주어지는 과제도 함께 목표로 삼는다.
세 인코더의 역할
영상 인코더와 텍스트 인코더가 각각의 표현을 만든다. 다중 모달 인코더는 두 인코더의 출력을 받아 정보를 결합하고 영상 언어 추론에 사용한다.
학습 목적의 결합
단일 영상과 텍스트에는 각각 가린 내용을 예측하는 학습을 적용한다. 짝지어진 영상과 텍스트에는 대조 학습, 다중 모달 마스킹, 영상 텍스트 일치 판별을 함께 사용한다.
평가가 보여 주는 범위
연구는 시각 인식, 언어 이해, 다중 모달 추론을 아우르는 35개 과제를 평가했다. 여러 과제를 포괄한다는 점은 범용성을 검토하는 근거이지만, 모든 문제를 해결하거나 후속 학습이 불필요하다는 뜻은 아니다.