위키득계정 ↗
기술

Gaussian Grouping

Gaussian Grouping기술
발표
ECCV 2024
추가 정보
간결한 Identity Encoding
감독 신호
SAM의 이차원 마스크
추가 제약
삼차원 공간 일관성 정규화
Gaussian Grouping은 삼차원 가우시안에 식별 인코딩을 추가해 장면의 복원과 분할을 함께 수행하는 방법이다. 물체나 영역에 속한 가우시안을 묶어 선택과 편집에 활용한다.

물체 단위로 묶기

장면의 외관과 기하를 복원해도 각 가우시안이 어느 물체에 속하는지는 별도 문제다. 식별 인코딩은 물체 개체나 장면 영역에 따른 묶음을 구성하도록 돕는다.

삼차원 표지 대신 이차원 예측

미분 가능한 렌더링 과정에서 SAM이 예측한 이차원 마스크로 식별 표현을 학습한다. 삼차원 공간의 일관성을 위한 정규화도 함께 사용한다.

부분 선택과 편집

묶인 가우시안은 물체를 제거하거나 빈 부분을 채우고 색상과 스타일을 바꾸는 국소 편집에 쓰인다. 장면 요소를 다시 배치하는 예시도 제시했다.

분할 결과의 의미

연구는 복원과 분할 및 편집의 시각 품질과 효율을 평가했다. 이차원 마스크에서 감독을 얻는 구성인 만큼 잘못된 마스크나 복잡한 경계에서의 정확성은 별도로 확인해야 한다.

관련 문서

Feature 3DGS / 가우시안 스플래팅 / 의미 분할 / 인스턴스 분할 / LangSurf / 삼차원 복원