형태와 외관을 함께 읽기
물체 점군의 공간 배치뿐 아니라 색상은 외관을 설명하는 단서가 된다. PointLLM은 점군 인코더와 언어 모델을 연결해 기하와 외관, 언어 정보를 함께 활용한다.
두 단계의 학습
점군과 텍스트의 잠재 공간을 먼저 정렬하고 통합된 모델을 지시 자료로 미세 조정한다. 이를 위해 단순한 지시 쌍 66만 개와 복합 지시 쌍 7만 개를 수집했다.
분류와 캡션 평가
생성형 3차원 물체 분류와 3차원 물체 캡셔닝 벤치마크를 구성했다. 사람 평가와 언어 모델 평가, 전통적 지표를 사용하며 서로 다른 평가 방식의 결과를 따로 살펴야 한다.
다른 점군 언어 모델과의 차이
Point-Bind를 기반으로 하는 하이픈 표기의 Point-LLM과는 별도의 연구다. 이 모델은 색상 물체 점군과 전용 지시 쌍을 사용하며, 물체 수준의 결과를 완전한 장면 이해나 정확한 좌표 추론으로 확대해서는 안 된다.
관련 문서
Point-Bind와 Point-LLM / ImageBind / PointNet / 대규모 언어 모델 / 다중모달 학습 / 임베딩