위키득계정 ↗
기술

NeuS

NeuS기술
영문
Learning Neural Implicit Surfaces by Volume Rendering for Multi-view Reconstruction
명칭
NeuS
표면 표현
부호 거리 함수의 영점 집합
학습 자료
여러 시점의 영상과 카메라 정보
NeuS는 여러 시점의 영상으로부터 부호 거리 함수 형태의 표면을 학습하는 방법이다. 거리 함수의 영점과 영상 합성에서 나타나는 표면 위치 사이의 편향을 줄이도록 볼륨 렌더링을 구성한다.

영점 집합의 의미

거리 함수가 0인 위치들이 복원할 표면을 이룬다. 하지만 어떤 함수가 같은 영점 집합을 가진다는 사실만으로 표면까지의 정확한 거리를 나타내지는 않는다. 함수의 변화율과 학습 제약도 형상 표현에서 중요하다.

같은 표면의 예

f(x,y,z)=z−1과 g(x,y,z)=2(z−1)은 모두 z=1인 평면에서 0이다. 각 함수의 기울기 크기는 1과 2로 다르다. 두 함수가 같은 표면을 표시해도 거리 값의 척도는 같지 않다는 예이며 실제 신경망의 출력에 대한 성능 실험은 아니다.

렌더링 편향

표면을 두께가 있는 밀도 영역처럼 렌더링하면 색이 모이는 위치가 의도한 표면과 어긋날 수 있다. NeuS는 이를 분석해 일차 근사에서 편향을 없애는 구성을 제시한다. 모든 차수의 오차가 없어지거나 유한한 표본 계산이 항상 정확하다는 의미는 아니다.

영상에서 형상으로

전경 마스크 없이 학습할 수 있지만 사진과 카메라 조건까지 필요 없어지는 것은 아니다. 관측 범위와 재질에 따라 복원 난도가 달라진다. 학습 사진에 잘 맞는지와 함께 표면의 빈틈, 잘못 연결된 부분 및 보이지 않던 시점에서의 일관성을 확인한다.

관련 문서

VolSDF / NeRF / SIREN / Mip-NeRF / TensoRF / 3D 가우시안 스플래팅