세밀한 대응의 불확실성
전체 영상과 문장의 일치만으로 개별 프레임과 단어가 어떻게 연결되는지 알기 어렵다. HBI는 다양한 세밀도와 요소 조합의 상호작용을 협력 게임으로 다룬다.
프레임과 단어의 상호작용
프레임과 단어를 게임 참여자로 보고 가능한 대응의 가치를 Banzhaf 상호작용으로 평가한다. 단순한 쌍별 유사도 외에 조합에 따른 의미 관계를 학습하려는 접근이다.
군집과 계층
원래 프레임과 단어를 군집화하고 병합한 토큰 사이의 상호작용을 계산한다. 토큰 병합 모듈을 쌓아 서로 다른 의미 수준의 협력 관계를 구성한다.
평가와 시각화
영상 텍스트 검색과 영상 질의응답에서 평가하고 모달리티 사이의 상호작용을 시각화하는 데도 활용했다. 시각화된 관계가 곧 실제 세계의 인과관계를 증명하는 것은 아니다.
관련 문서
X-CLIP 영상 검색 / UATVR / CenterCLIP / CG-DETR / 대조 학습 / 협력 게임