두 사진과 하나의 문장
모델은 사진 두 장을 보고 주어진 설명이 그 사진 쌍에 대해 참인지 결정한다. 질문에 자유롭게 답하는 VQA와 달리 문장의 진위를 판단하는 형식이다.
비교를 유도한 자료 수집
시각적으로 풍부한 영상 묶음을 사용해 참여자가 비교와 대조를 담은 문장을 만들도록 했다. 의미의 다양성과 여러 개념을 조합하는 표현을 확보하려는 수집 방식이다.
수량과 관계의 추론
문장의 의미를 판단하려면 개수나 비교, 대상 사이의 관계를 함께 이해해야 한다. 단어 하나와 물체 하나를 대응시키는 것만으로 해결되지 않는 공동 추론을 다룬다.
NLVR과의 구분
NLVR이 합성 영상을 사용한다면 NLVR2는 실제 사진 쌍을 사용한다. 자료의 시각적 복잡성과 언어 표현이 달라지므로 두 데이터셋의 이름이나 성능을 같은 것으로 취급하면 안 된다.
관련 문서
GQA / CLEVR / VQA 데이터셋 / LXMERT / VisualBERT / 시각 언어 모델