다양한 장면과 설명의 확보
삼차원 장면은 물체의 배치와 속성 및 관계가 복잡해 풍부한 설명이 필요하다. SceneVerse는 여러 기존 장면 자료를 통합하고 합성 장면도 포함해 장면 언어 쌍의 규모를 늘린다.
사람과 그래프 기반 생성
사람이 작성한 주석과 장면 그래프를 이용해 생성한 설명을 함께 사용한다. 자료 수를 늘리는 과정에서 장면의 물체와 관계에 언어가 근거하도록 구성하는 것이 핵심이다.
장면을 위한 사전 학습
함께 제시된 Grounded Pre-training for Scenes는 GPS로 줄여 부른다. SceneVerse의 장면 언어 자료를 이용하는 통합 사전 학습 체계로 후속 삼차원 언어 과제의 표현을 학습한다.
전이 성능의 평가
삼차원 지시 해석과 질문 응답 및 제로샷 전이 등에서 성능을 비교했다. 장면 수와 언어 쌍 수는 다른 단위이며, 제로샷 평가도 대규모 사전 학습이 이루어진 모델의 전이 설정이다.