학습 프레임과 추론 프레임
영상을 사용해 학습했더라도 실행에서는 한 장만 입력하는 모델이 있다. ManyDepth는 실행 시 인접 프레임이 있으면 그 기하 정보를 활용한다. 학습에 사용한 여러 사진과 실제 추론에서 입력하는 여러 사진은 다른 조건이다.
비용 볼륨의 활용
여러 깊이 후보로 영상의 대응 특징을 비교하면 한 장의 외관만으로 추정하는 것과 다른 단서를 얻을 수 있다. ManyDepth는 이런 비용 볼륨을 자기 감독 학습에 결합한다. 대응할 수 있는 시차가 생기려면 카메라 움직임과 관측 조건이 중요하다.
정지 카메라의 예
카메라와 물체가 모두 정지해 두 프레임이 같다면, 프레임 수가 두 장이어도 새로운 시차 단서가 생기지 않는다. 반대로 물체만 움직이면 움직임을 카메라 이동에 따른 깊이 변화로 오해할 수 있다. 여러 프레임이 항상 더 정확한 기하 정보를 준다는 뜻은 아니다.
신뢰하기 어려운 볼륨
일관성 손실은 비용 볼륨이 믿기 어려울 때 이를 무시하도록 돕고 정지 카메라를 다루는 증강도 사용한다. 이런 구성은 실제 관측을 대체하지 않는다. 움직이는 물체와 정지 구간의 오류, 프레임 간격 및 추가 입력에 따른 계산 비용을 함께 확인한다.
관련 문서
Monodepth2 / MVSNeRF / MiDaS / RAFT 광류 추정 / PWC-Net / DUSt3R