전체 영상과 부분 내용
영상 전체를 하나의 표현으로 압축하면 작은 물체나 배경의 세부 정보가 약해질 수 있다. FLAIR는 긴 설명에 담긴 서로 다른 부분 내용을 이용해 전체 표현과 텍스트별 영상 표현을 함께 학습한다.
하위 설명의 표집
상세한 영상 설명에서 여러 하위 설명을 표집한다. 각각의 설명이 가리키는 세부 내용이 달라질 수 있으므로 하나의 영상에 여러 의미적 관점을 제공한다.
텍스트로 모으는 영상 특징
텍스트 조건을 사용해 지역 영상 토큰에 어텐션 풀링을 적용한다. 같은 영상이라도 질의 문장의 내용에 맞는 세부 특징을 모아 검색에 사용할 수 있도록 한다.
부분 내용 검색의 평가
기존 다중 모달 검색과 영상 일부 내용을 찾는 세부 검색 과제를 평가했다. 3천만 쌍 학습 실험에서 제로샷 의미 분할도 살폈으며, 세부 영역 이해와 전체 영상 인식 결과를 함께 비교했다.