느슨하게 연결된 사진과 글
웹의 사진과 주변 글은 언제나 같은 물체나 장면을 상세하게 설명하지 않는다. BriVL은 두 자료의 의미적 관계가 약할 수 있다는 전제에서 영상 표현과 언어 표현을 학습한다.
두 표현 공간의 연결
영상과 문장을 각각 처리하는 두 인코더를 사용한다. 각 입력의 특징을 구하면서 대조 학습으로 연결되는 쌍과 다른 쌍을 구분하도록 표현을 조정한다.
음성 예시를 담는 대기열
MoCo의 방식을 교차 모달 학습에 맞춰 큰 대기열 사전을 구성한다. 한 배치 안의 예시에만 의존하는 대신 더 많은 음성 예시를 활용해 제한된 그래픽 처리 장치 자원에서 대조 학습을 수행한다.
중국어 자료와 평가 범위
사전 학습에는 여러 출처의 중국어 영상 텍스트를 모은 RUC-CAS-WenLan 자료를 구성했다. 여러 후속 과제에서 UNITER 및 CLIP과 비교했지만, 그 결과가 모든 언어와 과제에서의 우위를 뜻하지는 않는다.