위키득계정 ↗
기술

HyperNeRF

HyperNeRF기술
영문
A Higher-Dimensional Representation for Topologically Varying Neural Radiance Fields
명칭
HyperNeRF
다루는 변화
장면의 위상 변화
주요 원리
고차원 표현의 단면
HyperNeRF는 장면의 연결 구조가 달라지는 변화를 다루기 위해 방사장 표현을 더 높은 차원으로 확장하는 방법이다. 각 순간의 장면을 고차원 표현의 단면으로 나타내어 새로운 시점과 순간의 영상을 합성한다.

변형만으로 어려운 변화

물체의 모양이 늘어나거나 구부러지는 것과 연결 구조가 달라지는 것은 다르다. 하나의 기준 모양을 연속적인 변형장으로 대응시키는 표현은 연결 구조가 변할 때 어려움을 겪을 수 있다. HyperNeRF는 이런 한계를 표현 차원을 늘리는 방식으로 다룬다.

단면의 독립 예제

높이 z에 따라 x²+y²=z인 표면을 잘라 보자. z가 음수인 단면에는 실수 점이 없고 0에서는 한 점, 양수에서는 원이 나타난다. 추가 좌표에서 단면을 고르면 모양이 달라질 수 있다는 수학적 예다. 실제 HyperNeRF의 장면 함수나 구현 공식을 나타내는 것은 아니다.

순간 사이의 보간

영상에서 관측한 여러 상태를 고차원 공간에 대응시키고 그 사이의 상태를 합성한다. 카메라 시점을 바꾸는 일과 상태 사이를 보간하는 일은 별개의 평가 대상이다. 자연스러워 보이는 중간 상태가 실제로 그 순간 촬영된 장면이라는 뜻은 아니다.

표현의 한계

차원을 늘리면 표현에 유연성을 줄 수 있지만 관측되지 않은 구조의 정답이 자동으로 정해지지는 않는다. 새 시점에서 연결 부분과 가려진 영역을 확인하고 상태 변화 중 갑작스러운 모양의 튐도 살펴본다. 실제 물리 운동을 예측하는 시뮬레이터와는 목적이 다르다.

관련 문서

Nerfies / D-NeRF / NeRF / HexPlane / K-Planes / SIREN