많은 토큰이 만드는 잡음
장면의 모든 물체 토큰을 언어 모델에 넣으면 과제와 관계없는 정보까지 함께 처리한다. 3D-SceneQ는 불필요한 대상이 추론을 방해할 수 있다는 문제와 점군의 의미 정보 한계를 함께 다룬다.
질의 기반 적응적 선택
QGAP은 사용자 지시의 의미에 따라 관련 물체를 고른다. 학습 가능한 잠재 질의를 이용해 중요한 정보를 유지하고 관련 없는 잡음을 억제하는 적응적 가지치기를 구성한다.
물체 수준의 의미 보강
MOFE는 사전 학습 모델의 이차원 특징 임베딩을 삼차원 표현과 결합한다. 점군만으로 부족할 수 있는 색과 재질, 질감 및 문맥 정보를 물체 수준에서 보완하려 한다.
여러 장면 이해 과제
Scan2Cap과 SQA3D 등에서 설명 생성과 질문 응답 및 지시 해석의 결과를 비교했다. 토큰을 줄이는 선택 과정이 어떤 물체를 남기는지와 의미 특징 보강의 효과를 함께 평가하는 구조다.