픽셀 선택과 공간 선택
새 시점의 영상에서 물체를 구별하는 것과 삼차원 점 집합을 정확히 고르는 것은 다르다. OpenGaussian은 특징 표현과 이차원 및 삼차원 대응의 오류가 뒤의 작업을 어렵게 하는 문제에 초점을 맞춘다.
일관된 개체 특징
프레임 사이의 마스크 대응 없이 SAM 마스크를 이용해 삼차원 일관성을 가진 개체 특징을 학습한다. 같은 물체 안의 유사성과 다른 물체 사이의 구별을 함께 얻으려 한다.
거친 묶음에서 세밀한 묶음으로
첫 코드북 단계는 점의 위치 정보를 고려해 군집을 만든다. 뒤의 세밀한 단계에서 이를 다듬은 다음 개체 수준의 연결을 통해 점과 마스크 및 CLIP 특징을 잇는다.
선택 방식의 평가
연구는 언어 기반 물체 선택과 점군 이해 및 클릭 기반 선택을 평가했다. 사용하는 질의 방식과 선택 결과가 이차원 픽셀인지 실제 삼차원 점인지 구별해서 비교해야 한다.
관련 문서
Gaussian Grouping / LangSplat / 점군 / CLIP / 벡터 양자화 / 의미 분할