같은 범주 후보의 배제
비슷한 물체가 여러 개 있으면 주변 대상과 공간 관계를 확인해야 목표를 정할 수 있다. SSR3D-LLM은 하나의 포인터 선택에 모든 정보를 압축하는 방식의 불안정성을 다룬다.
질의에서 잠재 단계로
언어 모델은 질의에서 잠재 공간 추론 단계와 메모리 토큰의 순서를 만든다. 기하 정보를 고려하는 점수기가 이를 순차적으로 읽고 단계 길이 마스킹을 적용해 후보 순위를 점진적으로 다듬는다.
학습과 추론의 감독 차이
학습에는 기존 벤치마크의 목표 감독과 보조적인 지시 단서 감독을 사용한다. 추론 때는 입력 질의와 Mask3D 물체 제안만 쓰는 조건으로 평가한다.
통합 모델 안의 역할
대화와 질문 응답, 설명 생성을 함께 다루는 통합 삼차원 언어 모델에 지시 해석 경로를 구성한다. ReferIt3D와 ScanRefer, Multi3DRefer에서 기존 통합 모델 및 단일 선택 기준선과 비교했다.
관련 문서
Mask3D instance / ScanRefer / ReferIt3D / Multi3DRefer / 공간 추론 / ScanEnts3D