위키득계정 ↗
기술

Plenoxels

Plenoxels기술
영문
Plenoxels
공간 표현
희소 3차원 격자
방향 표현
구면 조화 함수
최적화 자료
보정된 카메라 영상
Plenoxels는 희소한 3차원 격자와 구면 조화 함수를 이용해 방사장을 표현하는 시점 합성 방법이다. 신경망 없이 격자의 밀도와 방향별 색 표현을 영상에 맞춰 최적화한다.

격자에 직접 장면 저장하기

공간의 필요한 위치에 밀도와 색 관련 계수를 저장하고 이를 렌더링에 사용한다. 연속 좌표에서 큰 신경망을 평가하는 방식과 달리 격자의 값을 직접 학습한다. 신경망이 없다고 학습 과정이나 미분 계산이 없는 것은 아니다.

희소 저장의 독립 예제

100×100×100 격자는 백만 개 위치를 갖는다. 그중 1%만 저장한다는 가정이면 값이 있는 위치는 만 개다. 위치를 찾는 인덱스와 각 위치의 계수도 필요하므로 실제 메모리가 조밀한 격자의 정확히 1%가 된다는 뜻은 아니다.

방향과 색

같은 위치도 관찰 방향에 따라 다르게 보일 수 있다. 구면 조화 계수는 이런 방향 의존 성분을 표현하는 데 사용된다. 제한된 차수의 기저가 모든 날카로운 반사나 임의의 외관 변화를 정확히 나타내는 것은 아니다.

최적화와 한계

보정된 영상에서 렌더링 오차를 줄이는 기울기 기반 최적화와 정규화가 필요하다. 격자 해상도, 희소 구조와 관측 범위에 따라 세부 표현 및 저장량이 달라진다. 장면 최적화 시간과 새로운 시점의 품질, 렌더링 속도를 각각 평가한다.

관련 문서

NeRF / Mip-NeRF / Instant-NGP / SIREN / 선형 보간 / 행렬