위키득계정 ↗
기술

RegNeRF

RegNeRF기술
영문
Regularizing Neural Radiance Fields for View Synthesis from Sparse Inputs
명칭
RegNeRF
대상
소수 시점의 입력 영상
주요 구성
가상 시점 정규화와 표본 범위 조절
RegNeRF는 입력 영상이 적을 때 신경 방사장에 나타나는 형상과 외관 오류를 줄이려는 학습 방법이다. 관측하지 않은 시점에서 렌더링한 패치에 제약을 적용하고 학습 중 광선 표본 범위를 점진적으로 조절한다.

입력 사진에만 맞추는 문제

몇 장의 사진에 잘 맞는 표현도 다른 시점에서는 찌그러진 형상이나 떠 있는 구조를 만들 수 있다. 입력 영상의 색 오차만 작다는 사실로 장면 복원이 충분하다고 판단하기 어렵다. RegNeRF는 관측하지 않은 시점에서 얻은 결과에도 제약을 둔다.

패치 단위의 제약

가상 시점에서 작은 영상 영역을 렌더링하고 형상과 외관이 지나치게 불안정해지는 것을 억제한다. 관측하지 않은 시점의 색에는 정규화 흐름 모델도 사용한다. 가상 시점의 영상이 새로 촬영한 정답 사진으로 추가되는 것은 아니다.

제약의 독립 예제

이웃 화소의 깊이가 2.0, 2.1, 2.0인 경우와 2.0, 20.0, 2.0인 경우를 생각해 보자. 후자는 큰 국소 변화가 있다. 다만 실제 물체 경계에서도 깊이는 급격히 바뀔 수 있으므로 매끄러움만으로 형상의 정답을 정할 수는 없다.

학습 범위와 검증

초기 학습이 불안정해지는 문제를 줄이기 위해 광선을 조사하는 공간 범위를 점진적으로 조절한다. 정규화가 추가되어도 입력의 정보 부족이 사라지는 것은 아니다. 학습에 쓰지 않은 시점에서 부유 구조와 깊이 경계를 확인하고 제한된 시점의 재현과 일반적인 장면 복원을 구분한다.

관련 문서

NeRF / MVSNeRF / pixelNeRF / IBRNet / Mip-NeRF / BARF