융합 전에 맞추기
영상 토큰과 단어 토큰의 표현이 맞지 않으면 결합 인코더가 상호작용을 배우기 어렵다. ALBEF는 먼저 두 표현을 대조 손실로 정렬하고 이후 모달 간 어텐션으로 정보를 합친다.
영역 주석의 의존성 줄이기
논문이 제안한 방식은 경계 상자 주석이나 고해상도 영상을 필수로 요구하지 않는다. 이는 시각 언어 표현을 학습하는 데 필요한 입력과 감독의 구성을 바꾼 접근이다.
모멘텀 모델의 의사 목표
웹에서 수집한 영상과 텍스트에는 불완전한 대응이 섞일 수 있다. 모멘텀 증류는 모멘텀 모델이 생성한 의사 목표에서 학습하는 자기 학습 방식으로 이 문제를 다룬다.
후속 평가
연구는 영상 텍스트 검색, 시각 질의응답, NLVR2 등의 과제를 비교했다. 정렬과 융합의 결합 및 잡음 대응의 효과는 당시의 학습 자료와 실험 조건 안에서 확인된 결과다.