위키득계정 ↗
기술

KVQA

KVQA기술
발표
AAAI 2019
질의응답 쌍
약 18만 3천 개
영상 수
약 2만 4천 개
이름 있는 개체
1만 8천 개 이상
KVQA는 영상 속 이름 있는 개체에 대한 세계 지식을 활용하는 시각 질의응답 데이터셋이다. 여러 개체와 관계를 지식 그래프에서 연결해 답을 찾는 추론을 다룬다.

이름이 있는 대상의 지식

일반 명사의 상식이나 영상 속 개수만 묻는 문제와 달리 특정 인물이나 장소, 단체에 관한 지식이 필요하다. 영상에 누가 또는 무엇이 등장하는지와 그 대상의 사실 정보를 연결한다.

여러 관계를 거치는 추론

데이터셋의 질문은 큰 지식 그래프에서 여러 개체와 관계를 다루고 여러 단계를 거쳐 답을 찾도록 구성됐다. 눈에 보이는 특징 하나를 분류하는 문제와 다른 지식 연결을 요구한다.

자료의 구성

약 2만 4천 영상과 1만 8천 개가 넘는 이름 있는 개체에 대해 약 18만 3천 질의응답 쌍을 제공한다. 영상 수와 개체 수, 질문 수는 각각 다른 자료 규모를 나타낸다.

평가의 관점

논문은 당시 방법을 적용한 기준 성능도 제시했다. 지식 기반 질의응답을 비교할 때는 시각적 개체 식별과 그래프의 관계 추론을 구분해 살펴야 한다.

관련 문서

OK-VQA / GQA / VQA 데이터셋 / 지식 그래프 / 개체 연결 / 시각 질의응답