실제 질문에서 출발한 자료
시각장애인이 주변 환경을 촬영하고 그 영상에 대한 질문을 말로 녹음했다. 인위적으로 질문을 붙인 장면만이 아니라 실제 사용 목적에서 생긴 질문을 평가 대상으로 삼는다.
영상 품질과 구어체
촬영한 영상의 품질이 낮을 수 있고 질문은 말로 표현돼 대화체의 성격을 가진다. 선명한 영상과 정제된 문장만 가정한 모델과 다른 조건을 제공한다.
답할 수 없는 질문
질문에 필요한 내용이 영상에서 확인되지 않는 경우도 있다. 따라서 시스템은 억지로 답을 생성하는 것과 영상에 근거해 답할 수 있는지를 판단하는 것을 구분해야 한다.
초기 평가
질문당 참여자 답 열 개를 수집하고 질의응답 및 응답 가능성 판단의 기준 모델을 평가했다. 논문이 제시한 어려움은 실제 입력의 다양성을 보여 주지만, 당시 점수가 현재의 모든 모델 성능을 뜻하지는 않는다.