영상에 대해 자유롭게 묻기
과제는 영상과 그 영상에 대한 자연어 질문을 입력받아 정확한 자연어 답을 제공하는 것이다. 영상 전체를 한 문장으로 설명하는 캡션과 달리 질문이 관심 영역을 정한다.
배경과 문맥의 이해
질문은 눈에 띄는 물체뿐 아니라 배경의 세부나 상황의 문맥도 대상으로 할 수 있다. 같은 영상이라도 질문이 달라지면 필요한 관찰과 추론이 달라진다.
열린 답과 평가
질문과 답은 열린 형태지만 답이 짧거나 선택지로 표현될 수 있어 자동 평가도 가능하다. 논문은 다양한 기준 방법의 결과를 사람의 답변과 비교했다.
자료 규모와 버전
초기 연구의 자료는 약 25만 영상, 76만 질문, 천만 답을 포함한다. 여기서 설명하는 규모는 초기 VQA 자료에 관한 것으로 후속 버전의 통계와 같은 숫자로 취급하면 안 된다.
관련 문서
GQA / TextVQA / DocVQA / 시각 질의응답 / VisualBERT / LXMERT