영상에서 좋아 보여도 다른 공간
새 시점의 이차원 특징만 잘 렌더링해도 삼차원에서는 의미가 표면 밖에 퍼질 수 있다. LangSurf는 실제 공간에서 물체와 언어 표현이 어긋나는 문제를 다룬다.
표면에 맞춘 공동 학습
기하 감독으로 언어 가우시안을 물체 표면에 붙여 평평하게 만드는 방향으로 학습한다. 대조 손실은 물체의 가우시안에 적절한 언어 특징을 부여하는 데 사용한다.
전체 문맥과 부분 특징
영상 수준에서 먼저 문맥을 추출한 뒤 SAM 마스크로 계층적 풀링을 수행한다. 마스크 영역만 따로 볼 때 잃기 쉬운 문맥과 세밀한 의미를 함께 활용하려는 구성이다.
분할에서 편집으로
논문은 개방형 이차원 및 삼차원 의미 분할을 비교하고 개체 인식과 제거 및 편집도 제시했다. 이런 활용 결과는 평가 장면에서의 검증이며 모든 복잡한 장면의 경계가 정확하다는 보장은 아니다.