평면 배치만으로 부족한 관계
화면에서 두 대상이 가깝다는 사실만으로 실제 관계가 정해지는 것은 아니다. 물체의 방향과 주변 대상의 배치도 관계 해석에 영향을 줄 수 있어 단순한 좌표 규칙으로 해결하기 어렵다.
사람이 찾는 어려운 예시
주석자는 간단한 공간적 단서나 언어 사전 지식으로 예측하기 어려운 관계를 찾는다. 쉬운 규칙에 맞는 예시만 모이는 것을 줄이고 드문 관계도 수집하려는 방식이다.
관계 인식의 별도 평가
자료는 영상에서 물체 사이의 특정 공간 관계가 성립하는지 판단하는 데 초점을 둔다. 물체 이름을 인식하는 능력과 그 물체들이 어떤 관계를 갖는지 이해하는 능력을 구분해 살핀다.
기준선과 모델의 비교
발표 당시 인식 모델과 단순 기준선의 성능이 비슷하게 나타났다. 연구는 공간 추론 평가에서 복잡한 모델의 점수만 보기보다 단순한 단서에 의존하는 방법과도 비교할 필요를 보여줬다.
관련 문서
VSR 공간 관계 평가 / Winoground / 자료 편향 / 공간 추론 / SugarCrepe / GQA