검색 효율과 세밀한 비교
세밀한 교차모달 상호작용은 검색 성능에 도움이 될 수 있지만 많은 영상에 적용할 때 비용이 크다. TeachCLIP은 강한 교사 모델에서 더 간단한 학생으로 지식을 옮기려 한다.
주의 기반 프레임 집계
학생에 AFA 블록을 더해 프레임 특징을 주의 가중치로 집계한다. 이 가중치는 특징을 합치는 역할뿐 아니라 교사에게서 배우는 통로로 사용된다.
프레임 관련성의 모방
교사 네트워크가 추정한 프레임 텍스트 관련성을 학생의 주의 가중치가 모방하도록 한다. 전체 영상 점수만 전달하는 것보다 세밀한 감독을 주는 방식이다.
검색 단계의 비용
제안된 AFA는 검색 단계의 추가 저장 및 계산 부담을 만들지 않도록 설계됐다. 교사를 사용하는 훈련 비용과 학습을 끝낸 학생의 검색 비용은 구별해야 한다.
관련 문서
CLIP4Clip / X-CLIP 영상 검색 / TS2-Net / X-Pool / CenterCLIP / 지식 증류