물체 이름을 연결 고리로
영상의 두드러진 물체는 짝지어진 문장에도 언급되는 경우가 있다. Oscar는 검출한 물체 태그를 영상과 언어 사이의 의미 정렬을 돕는 기준점으로 사용한다.
특징의 단순 결합에서 나아가기
영상 영역 특징과 텍스트 특징을 이어 붙인 뒤 자기 어텐션에만 대응 학습을 맡기는 방식과 구분된다. 검출된 물체의 의미 정보를 추가해 연결을 학습하기 쉽게 만든다.
사전 학습과 미세 조정
공개된 영상 텍스트 쌍 650만 개로 사전 학습한 뒤 후속 과제에 맞게 미세 조정했다. 물체 검출 결과가 정렬의 근거인 만큼 검출 정보의 품질도 살펴볼 요소다.
이해와 생성의 평가
연구는 여섯 시각 언어 이해 및 생성 과제에서 평가 결과를 제시했다. 물체 태그가 정렬을 돕는다는 설계와 태그만으로 문장의 모든 의미를 설명할 수 있다는 주장은 다르다.
관련 문서
VisualBERT / UNITER / ALBEF / 물체 탐지 / 시각 언어 모델 / 미세 조정