상황 설명의 모호함 줄이기
텍스트 하나로만 위치나 대상을 설명하면 비슷한 물체와 방향 관계가 모호해질 수 있다. 텍스트와 영상을 교차 배치하고 삼차원 점군을 함께 제공하는 입력 설정을 사용한다.
장면 그래프를 이용한 수집
삼차원 장면 그래프와 영상 언어 모델을 활용해 실제 장면의 다양한 상황과 질문을 구성했다. MSQA는 여러 질문 범주를 포함해 한 가지 공간 관계에만 평가가 치우치지 않도록 한다.
다음 이동 행동의 평가
함께 제시된 MSNN은 현재 상황과 이동 목표에서 다음 단계의 행동을 판단한다. 질문 응답뿐 아니라 행동의 근거와 상황 사이의 전이를 평가하며, 긴 경로 전체를 계획하는 문제와 구별된다.
모델과 사전 학습 자료의 활용
MSR3D는 점군과 교차 배치된 텍스트 및 영상, 위치와 방향을 상황 모델링에 사용한다. 연구는 질문 응답 및 이동 평가와 함께 자료 규모 변화 및 다른 영역으로의 전이를 비교했다.