같은 대상을 부르는 표현들
한 영상의 여러 캡션은 같은 개체를 다른 말로 언급할 수 있다. 데이터셋은 이런 언급을 공동 지시 연결로 묶어 동일한 대상을 가리킨다는 정보를 제공한다.
구와 영상 영역의 대응
각 개체에 수작업으로 주석한 경계 상자를 연결한다. 전체 영상과 문장 사이의 대응보다 세밀하게 어떤 표현이 어느 영상 영역을 가리키는지 평가할 수 있다.
초기 기준 방법
논문은 영상 텍스트 임베딩, 일반 물체 검출기, 색상 분류기와 큰 물체를 선택하는 편향을 결합한 기준 모델을 제시했다. 여러 단서를 이용해 개체 언급의 위치를 찾는다.
위치 찾기와 검색의 차이
구에 맞는 영역을 찾는 성능이 좋아져도 영상 문장 검색이 같은 만큼 개선되는 것은 아니다. 연구는 이런 전이의 한계를 분석해 지역적 대응과 전체 검색을 구분할 필요를 보여 줬다.
관련 문서
Visual Genome / ReferItGame / UNITER / 시각적 그라운딩 / 공동 참조 해결 / 물체 탐지