위키득계정 ↗
기술

InfographicVQA

InfographicVQA기술
발표
2021년
대상
인포그래픽 영상
주석
자연어 질문과 답
핵심 능력
배치와 텍스트 및 그래픽의 공동 추론
InfographicVQA는 인포그래픽의 글자와 배치, 그래픽, 시각화 정보를 함께 이용해 질문에 답하는 데이터셋이다. 단순히 문구를 찾는 문제뿐 아니라 기초 추론과 산술이 필요한 질문을 포함한다.

여러 표현을 함께 읽기

인포그래픽은 문장과 그림, 도표를 조합해 정보를 전달한다. 어떤 요소를 가리키는지와 요소 사이의 관계를 이해하려면 텍스트만 떼어 읽는 접근으로는 부족할 수 있다.

질문이 요구하는 정보

수집된 질문은 문서 배치, 텍스트 내용, 그래픽 요소와 데이터 시각화를 함께 추론하도록 구성됐다. 자료를 만들 때 기초 추론과 기본 산술 능력이 필요한 질문을 강조했다.

주석과 초기 기준

다양한 인포그래픽에 자연어 질문과 답을 주석했다. 연구는 다중 모달 질의응답 모델에 기반한 두 기준 모델을 평가해 과제의 초기 비교점을 마련했다.

다른 질의응답과의 관계

문서의 글자를 읽는 능력에 더해 시각적 구성을 해석하는 능력이 중요하다. 차트 하나를 대상으로 하는 질문이나 일반 문서의 항목을 찾는 질문과는 정보 결합의 범위가 다를 수 있다.

관련 문서

ChartQA / DocVQA / PlotQA / 시각 질의응답 / 인포그래픽 / 데이터 시각화