위키득계정 ↗
기술

MVSNeRF

MVSNeRF기술
영문
Fast Generalizable Radiance Field Reconstruction from Multi-View Stereo
명칭
MVSNeRF
주요 정보
평면 스윕 비용 볼륨
입력 구성
서로 가까운 여러 시점의 영상
MVSNeRF는 다중 시점 스테레오의 비용 볼륨을 활용해 소수의 영상에서 신경 방사장을 추정하는 방법이다. 영상 간 기하 관계를 나타내는 특징과 볼륨 렌더링을 결합하고 여러 장면에 적용되는 모델을 학습한다.

깊이 후보별 대응

평면 스윕은 여러 깊이 후보에 따라 영상의 대응을 비교하는 접근이다. 올바른 깊이에서는 같은 물체 부분의 특징이 더 잘 맞을 수 있다. 이렇게 구성한 볼륨은 방사장을 추정할 때 장면의 기하를 고려하는 단서가 된다.

스테레오의 독립 예제

평행하고 정렬된 두 카메라에서 초점 거리 400화소, 기준선 0.2m, 시차 20화소를 가정하면 깊이 fB/d는 4m다. 시차가 40화소라면 2m가 된다. 이상적인 보정 조건의 계산이며 실제 비용 볼륨이 이 식만으로 모든 깊이를 확정하는 것은 아니다.

장면을 공유하는 모델

장면마다 방사장을 처음부터 외우듯 학습하는 대신 여러 장면에서 공유하는 신경망으로 방사장을 추정한다. 가까운 세 입력 시점을 사용하는 구성이 제시된다. 입력 수가 적다는 사실은 카메라 정보나 사전 학습 자료가 필요 없다는 의미가 아니다.

미세 조정과 평가

추정된 표현에 추가 영상을 사용해 장면별 미세 조정을 할 수도 있다. 최초 추론 결과와 미세 조정 후 결과는 별도로 비교한다. 영상의 겹침이 적거나 반사와 가림이 심한 영역에서는 대응이 모호할 수 있으므로 새 시점과 깊이의 일관성을 함께 확인한다.

관련 문서

NeRF / pixelNeRF / IBRNet / BARF / RegNeRF / Zip-NeRF