장면과 공간 문장의 대응
한 영상과 그 안의 두 물체 관계를 나타내는 문장을 제공한다. 문장이 영상의 공간 관계를 올바르게 설명하는지 참 또는 거짓으로 판단하는 형식이다.
참조 틀의 중요성
공간 표현은 무엇을 기준으로 보느냐에 따라 해석이 달라질 수 있다. VSR은 단순해 보이는 대응 형식 안에 서로 다른 참조 틀 같은 언어적 어려움을 포함한다.
위치와 방향의 구분
아래쪽이나 앞쪽에 있는 관계 외에 물체가 어느 쪽을 향하는지도 다룬다. 대상의 존재를 찾는 능력과 대상 사이 위치 및 방향을 해석하는 능력을 구별해서 평가한다.
관계별 결과 분석
논문에서 평가한 모델들은 사람보다 낮은 결과를 보였고 특히 방향 관련 관계에서 어려움을 드러냈다. 관계별 성능과 학습 예시 수의 상관이 작게 나타나 단순한 예시 수만으로 오류를 설명하기 어렵다고 관찰했다.
관련 문서
VALSE 시각 언어 평가 / Winoground / CLEVR / GQA / 시각 질문 응답 / 공간 추론