문자에 담긴 시각적 정보
영상 안의 텍스트는 장면의 의미를 전달하는 중요한 단서다. ST-VQA는 시각 질의응답 과정에서 이런 문자 단서를 제대로 활용하는 문제를 강조한다.
시각 문맥 안에서 읽기
답을 만들려면 장면의 문자를 읽고 영상이 제공하는 문맥 안에서 추론해야 한다. 글자 인식 결과만 따로 얻는 과제와 달리 질문에 알맞은 답을 생성하는 것이 목적이다.
난이도를 나눈 과제
연구는 난이도가 증가하는 여러 과제를 정의했다. 같은 데이터셋이라도 어떤 과제 설정을 사용하는지에 따라 모델에 주어지는 조건이 달라질 수 있어 직접 비교 시 구분이 필요하다.
인식 오류까지 고려하는 평가
추론의 실수뿐 아니라 문자 인식 모듈의 부족함도 고려하는 평가 지표를 제안했다. 같은 논문은 여러 기준 방법을 함께 제시해 장면 문자 기반 질의응답 연구의 비교점을 마련했다.