상황을 먼저 이해하는 질문
삼차원 스캔 같은 장면 문맥과 함께 위치 및 방향을 텍스트로 설명한다. 모델은 그 상황이 장면의 어디에 해당하는지 이해하고 그 관점에서 질문을 해석해야 한다.
같은 장면의 여러 관점
같은 방에서도 위치와 바라보는 방향이 바뀌면 앞이나 뒤에 있는 대상이 달라진다. SQA3D는 장면 인식에 상황 이해를 결합해 이런 관점 의존적인 관계를 다룬다.
자료의 구성과 능력 범위
약 6천 800개 상황에 설명 2만 400개와 질문 3만 3천 400개를 제공한다. 질문은 공간 관계와 상식, 이동 및 여러 단계의 추론 등 서로 다른 능력을 시험한다.
사람과 모델의 평가
논문이 평가한 모델과 사람 사이에는 큰 성능 차이가 나타났다. 점수를 해석할 때 상황을 찾는 오류와 상황을 찾은 뒤 질문에 답하는 오류를 구분해 살필 필요가 있다.
관련 문서
ScanNet / VSR 공간 관계 평가 / MSR3D와 MSQA / 공간 추론 / 시각 질문 응답 / MosaicThinker