장면 전체를 입력으로 사용
RGB-D 실내 스캔에서 얻은 전체 삼차원 장면 정보를 제공한다. 하나의 이차원 영상만으로 해석하기 어려운 물체의 배치와 방향 및 질문이 가리키는 대상을 함께 다룬다.
물체에 근거한 질문 응답
사람이 편집한 질문 응답은 장면의 삼차원 물체에 연결된다. 정답 문장을 고르는 능력뿐 아니라 언어로 언급된 물체를 장면 안에서 식별하는 과정도 중요하다.
기하 특징과 언어의 융합
기초 모델은 삼차원 물체 제안과 문장 임베딩을 융합해 표현을 학습한다. 이 표현으로 언어와 스캔의 기하 특징을 연결하고 삼차원 경계 상자를 회귀해 질문의 대상을 찾는다.
상황 중심 질문과의 관계
SQA3D가 특정 위치와 방향의 상황에서 주변을 해석하는 데 초점을 둔다면 ScanQA는 물체에 근거한 삼차원 장면 질문 응답을 구성한다. 두 과제는 같은 ScanNet 계열 장면을 사용하더라도 평가 조건을 구분해야 한다.
관련 문서
ScanNet / SQA3D / MSR3D와 MSQA / Real-3DQA / 시각 질문 응답 / 점군