위키득계정 ↗
기술

Mip-Splatting

Mip-Splatting기술
영문
Alias-free 3D Gaussian Splatting
명칭
Mip-Splatting
공간 처리
3차원 평활 필터
화면 처리
2차원 Mip 필터
Mip-Splatting은 카메라 거리나 초점 거리가 달라질 때 3D 가우시안 스플래팅에서 나타나는 샘플링 문제를 줄이는 방법이다. 공간상의 가우시안과 화면상의 필터를 함께 다뤄 여러 배율에서 장면을 표현한다.

배율이 달라질 때

사진에 잘 맞춘 작은 구조도 다른 배율에서는 거칠게 보이거나 두께가 달라질 수 있다. 학습에 사용한 영상의 샘플링 조건과 렌더링할 영상의 조건이 다르기 때문이다. 가우시안의 개수만 늘려서는 이 문제를 해결한다고 할 수 없다.

화소 평균의 예

한 화소가 같은 면적의 밝은 영역과 어두운 영역을 덮고 각 밝기가 1과 0이라면 면적 평균은 0.5다. 중심 한 점만 읽으면 위치에 따라 0 또는 1이 될 수 있다. 이는 화소 면적을 고려하는 이유를 설명하는 예이며 실제 알고리즘의 필터 식을 대신하지 않는다.

공간과 화면의 필터

3차원 평활은 입력 시점들이 제공하는 샘플링 주파수를 고려해 지나치게 작은 공간 구조를 제약한다. 화면에서는 단순한 팽창 필터 대신 상자 필터를 근사하는 Mip 필터를 사용한다. 공간 표현의 제약과 화면에서 화소를 합성하는 처리는 역할이 다르다.

확인할 조건

가까운 시점과 먼 시점에서 같은 구조의 굵기와 밝기를 비교한다. 배율 변화에 대한 안정성이 실제 형상의 완전한 복원을 뜻하지는 않는다. 가려진 부분이나 잘못 추정된 외관은 별도로 확인하며 렌더링 속도와 화질도 같은 해상도 조건에서 비교한다.

관련 문서

3D 가우시안 스플래팅 / Mip-NeRF / NeRF / TensoRF / 선형 보간 / Plenoxels