인스턴스 수준의 정렬
영상과 텍스트 특징이 서로 맞지 않으면 이후의 교차모달 상호작용도 어려워진다. ALPRO는 VTC 손실로 단일모달 특징을 인스턴스 수준에서 먼저 정렬한다.
개체 프롬프터
개체 이름을 넣은 텍스트 프롬프트와 영상의 잘라낸 영역 사이의 유사도를 계산하는 모듈을 학습한다. 물체 검출기의 한정된 어휘와 계산 부담에 의존하는 방식을 보완하려는 설계다.
영역과 개체의 의사 라벨
PEM은 임의로 선택한 영상 영역에 대해 개체 의사 라벨을 예측하도록 한다. 라벨은 프롬프터의 정규화한 유사도 점수이며 사람이 확정한 물체 정답과는 구별된다.
평가 과제
텍스트 영상 검색과 영상 질의응답에서 평가했다. 영상 전체의 정렬과 세부 영역의 개체 대응이 각각 어떤 역할을 하는지 나누어 살펴볼 수 있다.
관련 문서
ClipBERT / VIOLET / VideoCLIP / Bridge-Prompt / HBI 영상 언어 상호작용 / 대조 학습