공통 구조로 다루는 과제
물체 위치 추정과 설명 생성, 질문 응답을 위해 과제마다 복잡한 융합 구조를 만드는 대신 셀프 어텐션 기반 모델을 사용한다. 단일 모달리티 내부 관계와 모달리티 사이의 연결을 같은 기본 연산으로 구성한다.
ScanScribe의 장면과 설명
ScanNet과 3R-Scan의 고유 실내 장면 1천 185개에서 RGB-D 스캔 2천 995개를 사용했다. 기존 삼차원 언어 과제와 문장 틀, GPT-3 등으로 장면 설명 약 27만 8천 개를 구성했다.
마스킹과 대응 학습
ScanScribe에서 언어 및 물체 마스킹 모델링과 장면 텍스트 대응을 학습한다. 빠진 정보를 예측하는 목적과 장면 및 문장의 연결을 판단하는 목적을 사전 학습에 함께 사용한다.
후속 과제로의 전이
물체 지시 해석과 밀집 설명, 질문 응답 및 상황 추론에서 성능을 비교했다. 후속 과제의 주석을 제한한 미세 조정 실험으로 사전 학습이 자료 효율에 미치는 영향도 평가했다.