위키득계정 ↗
기술

pixelNeRF

pixelNeRF기술
영문
Neural Radiance Fields from One or Few Images
명칭
pixelNeRF
조건 정보
화소와 정렬된 영상 특징
학습 범위
여러 장면에서 공유하는 모델
pixelNeRF는 한 장 또는 소수의 입력 영상에 조건화된 신경 방사장을 예측하는 방법이다. 여러 장면에서 학습한 사전 지식과 입력 영상의 공간 특징을 함께 활용해 관측하지 않은 시점의 영상을 합성한다.

장면마다 처음부터 학습하는 대신

특정 장면 하나에 맞추는 방사장과 달리 여러 장면에서 얻은 규칙을 공유한다. 새 장면에서는 입력 영상의 특징에 조건화해 장면 표현을 예측한다. 소수 영상에서 동작할 수 있다는 것은 모델이 사전 학습 없이 영상 한 장으로 모든 구조를 알아낸다는 뜻은 아니다.

화소와 공간의 연결

공간의 점이 입력 카메라 영상의 어느 위치에 대응하는지 사용해 영상 특징을 읽는다. 이를 통해 장면 전체에 동일한 코드만 주는 것보다 위치별 관측 정보를 활용할 수 있다. 카메라와 입력 영상의 정렬은 여전히 중요한 조건이다.

가려진 면의 모호함

정면 모양이 같은 상자라도 뒷면에는 서로 다른 무늬가 있을 수 있다. 정면 사진 한 장만으로 두 상자의 뒷면을 확정할 수는 없다. 사전 지식은 그럴듯한 결과를 고르는 데 도움을 줄 수 있지만 실제로 관측한 정보와 동일하지 않다.

일반화의 평가

학습에 사용하지 않은 물체와 범주에서 결과를 확인하면 공유 모델의 일반화를 살펴볼 수 있다. 입력 영상에 가까운 방향과 크게 벗어난 방향을 나눠 평가하는 것도 필요하다. 보기 좋은 결과와 실제 숨은 형상의 정확성은 구분하며 입력 수와 카메라 조건을 함께 기록한다.

관련 문서

NeRF / IBRNet / BARF / SIREN / Mip-NeRF / HeadSculpt