공간 자료를 영상 모델로
점군을 직접 언어 모델에 넣는 대신 여러 방향의 깊이 지도로 나타내 영상 인코더를 활용한다. 깊이 지도에는 관측 방향에 따른 공간 정보가 담긴다. 원래 사진의 색과 질감이 그대로 존재하는 RGB 영상과는 다르다.
여러 시점의 결합
한 방향에서 보이지 않는 구조가 다른 방향에서는 드러날 수 있어 시점별 정보를 모은다. 예를 들어 정면에서는 비슷한 두 물체도 옆면의 다리 모양이 다를 수 있다. 하지만 투영 방향을 늘리는 것만으로 누락된 원본 점이 새로 생기지는 않는다.
제로샷과 어댑터
범주 텍스트와 시점별 예측을 활용하는 제로샷 구성과 소수 라벨로 가벼운 어댑터를 미세 조정하는 구성을 구분한다. 후자는 대상 작업의 라벨 정보를 사용한다. 두 설정의 결과를 동일한 무학습 성능으로 비교하면 부정확하다.
후보와 투영 조건
범주 프롬프트와 시점 선택, 깊이 지도 생성 방식은 결과에 영향을 줄 수 있다. 점군의 실제 물체가 후보 목록에 포함되는지도 확인한다. 분류 정확도와 여러 시점의 처리 비용을 함께 보고 실제 센서의 잡음이나 부분 관측에서의 성능도 별도로 살펴본다.