대상 사이의 관계
영상 설명이나 질의응답에서는 물체가 무엇인지뿐 아니라 서로 어떻게 연결되는지도 중요하다. Visual Genome은 이런 관계를 표현하는 모델을 학습할 자료를 제공한다.
조밀한 영상 주석
영상마다 물체와 속성, 물체 쌍 사이의 관계를 주석한다. 논문은 평균적으로 영상당 물체 21개, 속성 18개, 관계 18개를 포함한다고 보고했다.
언어 표현의 정규화
물체와 속성, 관계뿐 아니라 영역 설명과 질의응답의 명사구를 WordNet 동의어 집합으로 정규화한다. 표현이 달라도 연결되는 개념을 다루기 위한 구성이다.
인식과 추론의 학습 자료
분류용 표지만으로는 부족한 영상의 풍부한 내용을 학습하는 데 사용한다. 조밀한 관계 주석이 있다는 사실과 이를 학습한 모델이 모든 상식적 상황을 추론한다는 주장은 구분된다.
관련 문서
GQA / UNITER / Oscar 시각 언어 모델 / 장면 그래프 / WordNet / 시각 질의응답