문장 대신 영상을 전제로
일반적인 텍스트 함의는 전제 문장과 가설 문장의 관계를 판단한다. 시각적 함의에서는 전제에 해당하는 정보를 실제 영상으로 바꾸어 가설을 평가한다.
중립 판정이 필요한 이유
영상에서 가설을 뒷받침할 수 있으면 함의, 충돌하면 모순으로 판단한다. 충분한 정보가 없어 어느 쪽도 결론 내릴 수 없다면 중립이므로 단순한 예와 아니오의 분류와 다르다.
자료 구성의 전제
SNLI의 전제 문장이 Flickr30k 캡션에서 왔다는 연결을 활용한다. 문장을 영상으로 바꾸면 캡션에 없던 대상이 보여 일부 관계가 달라질 가능성도 있어 자료 구성의 가정을 살펴야 한다.
기준 모델과 언어 편향
같은 연구는 EVE 모델을 제안하고 질의응답 기반 방법들과 비교했다. 가설 문장만으로도 높은 점수가 나오는 편향을 분석했으므로 정답률을 곧바로 시각적 근거 활용의 증거로 볼 수는 없다.