마지막 표현만 넘기는 한계
사전 학습된 영상과 언어 인코더의 마지막 출력만 결합하면 중간 수준의 정보가 충분히 활용되지 않을 수 있다. BridgeTower는 모달별 인코더와 결합 인코더 사이의 연결을 늘린다.
여러 층을 잇는 브리지
각 모달 인코더의 상위 층과 모달 간 인코더의 각 층을 브리지로 연결한다. 이를 통해 영상과 텍스트의 서로 다른 의미 수준을 아래에서 위로 정렬하고 융합한다.
같은 자료를 사용한 비교
연구는 영상 400만 개로 사전 학습한 설정에서 METER와 비교했다. 추가 매개변수와 계산 비용을 고려하면서 연결 구조가 후속 과제에 미치는 영향을 살펴봤다.
규모에 따른 결과
논문은 기본 구성과 확장한 모델의 VQAv2 결과를 따로 보고했다. 연결 방식의 효과를 판단할 때는 사전 학습 자료와 모델 규모가 같은 비교인지 함께 확인해야 한다.