위키득계정 ↗
기술

NeuralRecon

NeuralRecon기술
영문
Real-Time Coherent 3D Reconstruction from Monocular Video
명칭
NeuralRecon
지역 표현
희소 절단 부호 거리 볼륨
결합 구성
GRU 기반 학습 모듈
NeuralRecon은 단안 영상의 짧은 구간들에서 희소 거리 함수 형태의 표면을 순차적으로 복원하는 방법이다. 학습된 순환 결합 모듈로 이전 구간의 특징을 활용해 이어지는 장면의 일관성을 다룬다.

영상 구간의 지역 표면

각 키프레임의 깊이만 따로 추정해 나중에 합치는 대신 영상 구간의 지역 표면을 직접 복원한다. 짧은 구간의 여러 관측을 공간 표현으로 다루고 순서대로 장면을 확장한다. 한 장의 사진에서 전체 방을 완전히 관측하는 기능과는 다르다.

이전 특징의 활용

새 구간을 처리할 때 이전 구간에서 얻은 특징을 순환 결합 모듈로 활용한다. 같은 벽을 다시 봤을 때 서로 다른 조각처럼 나타나는 문제를 줄이려는 구성이다. 이전 정보가 들어간다고 카메라 정렬 오류까지 자동으로 없어지는 것은 아니다.

구간 연결의 예

첫 구간에서 벽이 x=2.0 부근에 있고 다음 구간에서는 x=2.1 부근으로 추정되었다고 하자. 이를 아무 검토 없이 두 면으로 합치면 겹친 벽이 될 수 있다. 공통 공간에서 관측과 특징을 일관되게 다뤄야 하는 이유를 설명하는 예다.

일관성과 정확도

시간에 따라 흔들리지 않는 형상도 실제 벽 위치와 다를 수 있다. 구간 간 일관성과 실제 표면 오차를 나누어 확인한다. 실시간이라는 성질은 장치와 입력 및 복원 설정에 따라 달라지므로 처리량과 지연, 메모리 및 복원 범위를 같은 조건에서 비교한다.

관련 문서

Atlas 장면 복원 / MVSNet / R-MVSNet / ManyDepth / DUSt3R / NeuS