위키득계정 ↗
기술

Nerfies

Nerfies기술
영문
Deformable Neural Radiance Fields
명칭
Nerfies
주요 구성
기준 방사장과 변형장
학습 보조
점진적 최적화와 탄성 정규화
Nerfies는 사진이나 영상에서 변형하는 대상을 신경 방사장으로 복원하는 방법이다. 관측 공간의 점을 공통 기준 공간으로 옮기는 연속적인 변형장을 학습하고 이를 통해 새 시점 영상을 만든다.

공통 공간으로 대응하기

표정이 달라지거나 몸이 조금 움직이면 사진마다 같은 위치가 다른 부분을 가리킬 수 있다. 변형장은 이런 관측 좌표를 공통 표현에 대응시킨다. 모든 순간에 별도의 독립 장면을 만드는 대신 여러 관측이 공유할 구조를 학습하는 방식이다.

큰 구조부터 맞추기

좌표 기반 모델은 복잡한 변형을 곧바로 맞추려 할 때 좋지 않은 해에 머물 수 있다. Nerfies는 거친 구조에서 세부 구조로 넘어가는 점진적 최적화를 사용한다. 처음부터 작은 주름까지 맞추는 것보다 전체 대응을 먼저 정리하려는 구성으로 이해할 수 있다.

변형의 제약

탄성 정규화는 변형장이 불필요하게 공간을 찌그러뜨리는 것을 억제한다. 예를 들어 두 점 사이 거리가 1에서 10으로 벌어지는 변형과 거리를 유지하는 이동은 다르게 다룰 필요가 있다. 이 예는 제약의 역할을 설명하며 실제 정규화 항을 거리 차이 하나로 계산한다는 뜻은 아니다.

복원의 해석

영상에 잘 맞는 변형이 실제 해부학적 움직임이나 물리 운동과 같은 것은 아니다. 새 시점에서 얼굴 윤곽과 배경이 일관적인지, 시간에 따라 형태가 불안정하게 흔들리는지 확인한다. 휴대전화 영상에 적용할 수 있다는 사실도 임의의 촬영 조건에서 같은 품질을 보장하지는 않는다.

관련 문서

NeRF / D-NeRF / HexPlane / K-Planes / HeadSculpt / SIREN