큰 볼륨의 부담
가로와 세로 해상도에 깊이 후보까지 곱한 비용 볼륨은 큰 저장 공간을 요구한다. R-MVSNet은 깊이별 지도를 순차적으로 정규화해 고해상도 다중 시점 복원을 다룬다. 순차 처리라는 사실이 전체 계산이 필요 없다는 뜻은 아니다.
저장 원소의 예
높이 50, 너비 80, 깊이 후보 100개인 스칼라 볼륨은 400,000개 값이다. 깊이 한 장의 지도는 4,000개다. 순환 처리에는 숨은 상태와 특징 등이 더 필요하므로 이 차이를 실제 메모리 절감률로 그대로 적용할 수는 없다.
깊이 방향의 순환
게이트 순환 유닛이 이전 단계의 정보를 상태에 담고 다음 깊이의 비용 지도를 처리한다. 여기서 순환의 단계는 영상의 시간 프레임이 아니라 깊이 후보 방향이다. 여러 시간의 움직임을 추정하는 영상 순환 모델과 구분해야 한다.
정확도와 확장성
고해상도 입력이 가능해져도 모든 가림과 반사 문제가 해결되지는 않는다. 메모리와 실행 시간, 깊이 오차와 복원의 완전성을 함께 비교한다. 같은 해상도와 깊이 후보 수에서 측정하고 여러 영상의 깊이를 합칠 때에도 카메라와 기하 일관성을 확인한다.
관련 문서
MVSNet / MVSNeRF / ManyDepth / PSMNet / IGEV-Stereo / DUSt3R