전체 특징만 비교하는 한계
영상과 문장의 전체 특징 유사도만으로는 패치와 단어의 자세한 관계를 놓칠 수 있다. FILIP은 더 세밀한 대응과 계산 효율을 함께 다루는 방식이다.
후단 토큰 상호작용
영상 토큰과 텍스트 토큰 사이 최대 유사도를 이용해 대조 목적을 안내한다. 복잡한 공동 어텐션을 더하기보다 대조 손실을 바꾸어 패치와 단어의 표현력을 활용한다.
표현을 미리 계산하기
추론 때 영상과 텍스트 표현을 각각 오프라인으로 미리 계산할 수 있다. 후보 조합마다 모든 인코더를 다시 결합하는 방식과는 검색 계산의 구조가 다르다.
학습 자료와 평가
연구는 FILIP300M 영상 텍스트 자료를 구성하고 제로샷 분류와 영상 텍스트 검색을 평가했다. 단어 패치 정렬 시각화의 위치 대응과 실제 분할 과제의 정확도는 구분할 대상이다.