위키득계정 ↗
기술

Feature 3DGS

Feature 3DGS기술
초기 발표
2023년
장면 기반
삼차원 가우시안 스플래팅
특징 제공
SAM과 CLIP-LSeg 등
입력 지정
언어, 점, 경계 상자
Feature 3DGS는 이차원 기반 모델의 의미 특징을 삼차원 가우시안 표현으로 증류하는 방법이다. 영상 합성에 쓰는 장면 표현을 분할과 언어 기반 편집 같은 작업으로 확장한다.

색상 밖의 특징

기존 장면 렌더링의 색상 정보에 더해 임의 차원의 의미 특징을 다룬다. 이차원 모델에서 얻은 표현을 장면에 옮겨 새로운 시점에서도 의미 정보를 사용할 수 있게 한다.

해상도와 채널의 차이

RGB 영상과 특징 맵은 공간 해상도와 채널 구성이 다를 수 있다. Feature 3DGS는 이를 단순히 같은 렌더링 체계에 넣을 때의 문제를 구조와 학습 방식의 변경으로 다룬다.

분할과 편집

연구는 새 시점의 의미 분할과 언어 지시 편집 및 점이나 경계 상자로 지정하는 조작을 제시했다. 특정 물체를 선택하는 인터페이스와 장면의 특징 표현이 함께 연결된다.

효율 평가

논문은 비교 방법과 비슷하거나 나은 결과를 더 빠른 학습과 렌더링으로 얻은 실험을 보고했다. 실제 비용은 특징 차원과 장면 및 구현 조건에 따라 달라진다.

관련 문서

가우시안 스플래팅 / 지식 증류 / 의미 분할 / LangSplat / Gaussian Grouping / NeRF