장면을 함수로 나타내기
카메라의 한 픽셀에서 나가는 광선을 따라 여러 위치를 질의한다. 신경망이 낸 밀도와 색을 부피 렌더링으로 결합해 픽셀을 만든다. 기본 구성은 공간 위치에 따른 밀도와 방향에 따라 달라질 수 있는 색을 구분한다.
앞뒤 기여의 독립 예제
앞 구간의 불투명도가 0.5이고 뒤 구간이 0.25라고 하자. 앞 색의 가중치는 0.5, 뒤 색은 통과한 0.5에 0.25를 곱한 0.125다. 남는 투과율은 0.375다. 밀도를 구간 불투명도로 바꾸는 과정은 생략한 예이며 단순 색 평균과 다름을 보여 준다.
학습과 카메라
알려진 카메라 위치와 방향의 영상에 렌더링 결과를 맞추며 표현을 학습한다. 카메라 추정이 부정확하면 장면 복원도 영향을 받는다. 관측 영상에 잘 맞는다고 밀도가 물리적으로 유일하거나 실제 표면과 완전히 일치한다고 보장되지는 않는다.
새 시점과 한계
관측 범위 안의 새로운 시점 합성이 주요 목적이다. 보이지 않았던 영역과 반사, 조명 변화 및 움직임은 조건에 따라 어렵다. 원래 장면별 최적화 구성과 이후 확장 기법을 구분하고 학습 시간 및 렌더링 비용을 함께 확인한다.
관련 문서
Mip-NeRF / SIREN / 푸리에 특징 매핑 / 푸리에 신경 연산자 / 트랜스포머 / 행렬