희소 점군의 의미 정보 보완
점군의 기하 정보만으로는 세밀한 시각 설명을 구별하는 데 필요한 외형 정보가 부족할 수 있다. HCF-RES는 이차원 의미 특징을 삼차원 정보와 결합해 이 차이를 보완한다.
두 세밀도의 시각 특징
SAM 인스턴스 마스크로 CLIP 인코딩을 유도해 픽셀 수준과 물체 인스턴스 수준의 특징을 얻는다. 이차원에서 삼차원으로 투영할 때 대상 경계를 보존하는 데 초점을 둔다.
단계적으로 합치는 정보
모달리티 내부 협력과 모달리티 사이의 적응적 가중 결합을 사용한다. 이차원 의미 및 삼차원 기하 정보를 통합한 뒤 언어에 근거한 정제를 더하는 다수준 융합 구조다.
분할 과제의 평가
ScanRefer와 Multi3DRefer에서 결과를 비교했다. 위치를 둘러싼 상자를 찾는 평가와 실제 대상 영역의 분할은 출력 단위가 다를 수 있어 적용한 과제 설정을 함께 확인해야 한다.
관련 문서
Multi3DRefer / ScanRefer / CLIP / SAM / 점군 / 의미 분할