위키득계정 ↗
기술

LangSplat

LangSplat기술
발표
CVPR 2024
공간 표현
언어 특징을 가진 삼차원 가우시안
압축
장면별 언어 오토인코더
계층 정보
SAM 기반 의미 학습
LangSplat은 언어 특징을 삼차원 가우시안에 담아 자연어로 장면을 검색하는 표현이다. 장면별 잠재 공간과 계층적 의미를 활용해 언어장의 렌더링 비용과 물체 경계 문제를 다룬다.

가우시안으로 표현한 언어장

CLIP에서 증류한 언어 특징을 가우시안들의 집합에 저장한다. 언어 특징을 렌더링할 때 타일 기반 스플래팅을 사용해 NeRF 방식의 높은 렌더링 비용을 줄이려 한다.

장면별 특징 압축

큰 CLIP 임베딩을 그대로 명시적으로 저장하면 메모리 부담이 크다. 먼저 장면별 언어 오토인코더를 학습하고 그 잠재 공간에서 언어 특징을 배우는 방식으로 이를 완화한다.

물체 경계와 의미 계층

불명확한 언어장에서는 이웃 물체의 경계를 구별하기 어렵다. LangSplat은 SAM을 활용한 계층적 의미 학습으로 이 문제에 접근한다.

속도 비교의 조건

논문은 특정 해상도에서 LERF보다 빠른 결과를 보고했다. 그 배수는 해상도와 구현 및 장면 조건을 가진 비교값이며, 모든 장비와 질의에서 같은 속도를 뜻하지 않는다.

관련 문서

LERF / CLIP / 가우시안 스플래팅 / 오토인코더 / LangSurf / 의미 분할