깊이 후보와 특징 정렬
기준 카메라의 시야 안에서 깊이 후보를 정하고 다른 영상의 특징을 이에 맞춰 옮긴다. 후보 깊이가 맞으면 같은 표면의 특징이 잘 정렬될 수 있다. 카메라 정보가 틀리면 이러한 대응도 어긋날 수 있다.
여러 시점의 분산
시점마다 정렬한 특징의 차이를 분산 기반 비용으로 모은다. 예를 들어 스칼라 특징 1,2,3의 평균은 2이고 모집단 분산은 2/3이다. 2,2,2라면 분산은 0이다. 실제 특징은 벡터이며 작은 분산 하나만으로 올바른 깊이를 증명하는 것은 아니다.
볼륨에서 깊이로
3차원 합성곱으로 비용 볼륨을 정규화해 초기 깊이를 추정하고 기준 영상을 이용해 결과를 정제한다. 기준 영상의 깊이 지도는 장면 전체의 완전한 메시와 다르다. 여러 시점의 깊이를 공간 모델로 만들려면 추가적인 일관성 확인과 결합이 필요하다.
정보와 메모리
여러 입력 시점을 분산 비용으로 모아 처리할 수 있지만 시점 수와 관측 범위는 여전히 결과에 영향을 준다. 깊이 후보와 해상도가 커지면 볼륨의 저장량도 커질 수 있다. 무늬 없는 면과 반사 및 가림의 오류를 확인하고 깊이 정확도와 공간 복원의 완전성을 구분한다.
관련 문서
R-MVSNet / MVSNeRF / ManyDepth / RAFT-Stereo / IGEV-Stereo / DUSt3R