영상만으로 부족한 질문
물체의 개수나 색을 묻는 질문과 달리 장면 밖의 지식이 필요한 질문이 있다. OK-VQA는 이러한 지식 기반 질문을 시각 질의응답의 평가 대상으로 삼았다.
보이는 정보와 아는 정보
영상은 질문의 대상을 정하는 데 필요하지만 답 전체를 제공하지는 않는다. 모델은 장면의 내용을 파악한 뒤 관련 지식을 연결해야 하므로 시각 인식과 지식 활용을 함께 다룬다.
외부 지식 자원의 활용
논문은 1만 4천 개가 넘는 질문으로 외부 지식 자원을 활용하는 방법의 연구를 장려했다. 과제의 지식 요구와 모델이 실제 검색을 수행하는지는 별도의 설계 조건이다.
초기 비교의 결과
연구는 기존 질의응답 모델의 성능이 이 설정에서 크게 낮아지는 결과를 보고했다. 이는 당시 모델과 실험의 관찰이며, 현재의 모든 지식 기반 모델에 같은 수준의 성능 저하가 나타난다는 뜻은 아니다.