융합 이전의 시각 표현
영상과 언어를 합치는 모델이 같더라도 입력 영상 특징에 따라 결과가 달라질 수 있다. VinVL은 융합 구조뿐 아니라 특징을 생성하는 검출기의 중요성을 살펴본다.
더 넓은 물체 개념
여러 공개 주석 데이터셋을 결합해 물체 검출기를 사전 학습한다. 기존의 널리 쓰인 특징 추출 방식보다 다양한 물체와 시각 개념을 표현하도록 검출기의 규모와 설계를 개선했다.
시각 언어 학습과 연결
검출기가 만든 특징을 트랜스포머 기반 Oscar 융합 모델에 넣는다. 개선한 시각 언어 사전 학습과 후속 미세 조정을 통해 여러 과제에서 특징 변화의 효과를 확인했다.
결과를 비교하는 기준
논문은 일곱 공개 벤치마크에서 개선을 보고했다. 융합 모델의 성능을 비교할 때도 검출기의 학습 자료, 표현 범위, 특징 추출 비용을 함께 살펴야 하는 이유를 보여 준다.
관련 문서
Oscar 시각 언어 모델 / 물체 탐지 / 특징 추출 / 시각 언어 모델 / 미세 조정 / UNITER