장면에 포함된 문자
주변 환경의 영상을 묻는 질문에는 글자를 읽어야 답할 수 있는 경우가 있다. TextVQA는 영상 속 텍스트에 대한 추론을 시각 질의응답의 별도 평가 대상으로 삼았다.
자료의 규모
2만 8천 408개 영상에 4만 5천 336개 질문을 제공한다. 질문은 텍스트를 읽는 것과 영상의 내용을 연결하는 능력을 요구하며, 일반적인 영상 질의응답을 보완한다.
읽은 문자열을 답에 사용하기
LoRRA는 영상에서 읽은 글자를 영상 및 질문과 함께 추론한다. 답은 문맥에서 유도한 내용일 수도 있고 영상에서 찾은 문자열을 이용해 구성한 내용일 수도 있다.
초기 결과와 현재의 구분
논문은 당시 비교 모델보다 나은 기준 결과와 사람과 모델 사이의 성능 차이를 보고했다. 그 차이는 연구 당시의 실험 결과이며 현재 문자 인식 기반 모델 전체의 성능을 나타내지는 않는다.
관련 문서
InfographicVQA / DocVQA / TrOCR / 광학 문자 인식 / 시각 질의응답 / 벤치마크